[论文解读] Multivariate Gaussian Variational Inference by Natural Gradient Descent

Timothy D. Barfoot|arXiv (Cornell University)|Jan 27, 2020

Blind Source Separation Techniques参考文献 7被引用 7

一句话总结

本文提出一种基于均值与精度矩阵混合参数化的多变量正态分布变分推断自然梯度下降（NGD）方法。通过利用费雪信息矩阵与克罗内克代数的矩阵微积分，该方法高效处理了精度矩阵的对称性与稀疏性结构，实现了稳定、保持稀疏性的优化，并获得闭式更新，从而提升了收敛性与计算效率。

ABSTRACT

This short note reviews so-called Natural Gradient Descent (NGD) for multivariate Gaussians. The Fisher Information Matrix (FIM) is derived for several different parameterizations of Gaussians. Careful attention is paid to the symmetric nature of the covariance matrix when calculating derivatives. We show that there are some advantages to choosing a parameterization comprising the mean and inverse covariance matrix and provide a simple NGD update that accounts for the symmetric (and sparse) nature of the inverse covariance matrix.

研究动机与目标

• 通过利用自然梯度下降，开发一种高效的多变量正态分布变分推断优化方法。
• 分析不同高斯分布参数化下的费雪信息矩阵（FIM），特别关注其对称性与稀疏性。
• 证明混合参数化（均值与精度矩阵）相较于其他表示形式在计算与数值稳定性方面具有优势。
• 推导出尊重精度矩阵对称性与稀疏性结构的闭式NGD更新公式。
• 在优化过程中保持精度矩阵的稀疏性，从而实现大规模问题的可扩展性。

提出的方法

• 使用矩阵微积分与微分方法，推导出多种高斯分布参数化（包括均值与精度矩阵）下的费雪信息矩阵（FIM）。
• 应用向量化与克罗内克积恒等式，计算矩阵表达式的导数，尤其针对对称矩阵。
• 使用vech算子与重复矩阵处理对称矩阵参数化，避免冗余。
• 提出一种混合NGD更新：通过变分损失的黑塞矩阵更新精度矩阵，即 $\Sigma^{-1} \leftarrow \frac{\partial^2 V}{\partial \mu^T \partial \mu}$。
• 采用两步更新：$\Sigma^{-1} \delta\mu = -\frac{\partial V}{\partial \mu^T}$，随后 $\Sigma^{-1} \leftarrow \frac{\partial^2 V}{\partial \mu^T \partial \mu}$，确保对称性与稀疏性。
• 通过似然函数的分解，保持精度矩阵的稀疏性，即 $\Sigma^{-1} = \sum_k \mathbf{P}_k^T \frac{\partial^2 V_k}{\partial \mu_k^T \partial \mu_k} \mathbf{P}_k$，从而在更新过程中保持稀疏模式。

实验结果

研究问题

• RQ1 参数化选择（均值、协方差或精度矩阵）如何影响多变量正态分布变分推断中自然梯度下降的效率与稳定性？
• RQ2 在梯度计算中，能否在不引入冗余的情况下，正确处理协方差与精度矩阵的对称结构？
• RQ3 均值与精度矩阵的混合参数化是否能带来更简单、更稳定且保持稀疏性的NGD更新？
• RQ4 费雪信息矩阵在塑造高斯变分族的自然梯度更新中起什么作用？
• RQ5 在优化过程中，如何保持精度矩阵的稀疏性，以实现在高维问题中的可扩展性？

主要发现

• 采用均值与精度矩阵的混合参数化，相较于其他参数化方式，能获得更自然且计算更高效的NGD更新。
• 精度矩阵的NGD更新被推导为 $\Sigma^{-1} \leftarrow \frac{\partial^2 V}{\partial \mu^T \partial \mu}$，该形式简化了更新过程，避免了冗余矩阵项。
• 该方法天然保持了精度矩阵的稀疏性，因为黑塞矩阵更新继承了因子化似然结构的稀疏模式。
• 该更新方案避免了显式计算完整的费雪信息矩阵，转而利用变分损失的局部导数高效计算自然梯度。
• 该方法在高维设置下实现了可扩展的推断，如在机器人学与大规模概率模型中的应用所示。
• 通过结合向量化与克罗内克代数的矩阵微积分，可系统化地推导对称矩阵的梯度与黑塞矩阵，避免了手动重复。