[论文解读] Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models

Hugh Salimbeni, Stefanos Eleftheriadis+1 more|arXiv (Cornell University)|Mar 24, 2018

Gaussian Processes and Bayesian Inference被引用 9

一句话总结

本论文针对高斯过程模型中的非共轭变分推断，提出自然梯度下降（NGD）方法，利用曲率信息加速收敛。结果表明，NGD在收敛速度和优化稳定性方面显著优于标准方法（如Adam和GD），尤其在具有复杂似然函数的高维设置下表现更优。

ABSTRACT

The natural gradient method has been used effectively in conjugate Gaussian process models, but the non-conjugate case has been largely unexplored. We examine how natural gradients can be used in non-conjugate stochastic settings, together with hyperparameter learning. We conclude that the natural gradient can significantly improve performance in terms of wall-clock time. For ill-conditioned posteriors the benefit of the natural gradient method is especially pronounced, and we demonstrate a practical setting where ordinary gradients are unusable. We show how natural gradients can be computed efficiently and automatically in any parameterization, using automatic differentiation. Our code is integrated into the GPflow package.

研究动机与目标

• 解决高斯过程模型中非共轭变分推断存在的优化缓慢且不稳定的挑战。
• 通过引入自然梯度的曲率信息，提升变分推断的收敛速度与稳定性。
• 评估自然梯度下降在复杂高斯过程模型中相对于标准优化方法（如Adam和梯度下降）的性能表现。
• 展示自然梯度在高维及非共轭似然设置下的实际有效性。

提出的方法

• 将自然梯度下降（NGD）应用于具有非共轭似然的高斯过程模型的变分参数优化。
• 利用费舍尔信息度量计算曲率感知的更新，改善优化动态。
• 采用自然梯度的随机近似方法，高效处理大规模数据集。
• 将NGD与均值场变分推断结合，使用曲率校正的步长同时更新均值和方差参数。
• 在高斯和学生t分布似然下，将NGD与标准优化方法（Adam、GD、LBFGS）进行对比。
• 采用重参数化技巧，实现可微采样与稳定梯度估计，以提升变分目标的梯度计算。

实验结果

研究问题

• RQ1 在非共轭高斯过程模型中，自然梯度下降与标准优化方法相比，收敛速度如何？
• RQ2 自然梯度是否能提升高维高斯过程推断中的优化稳定性？
• RQ3 曲率信息对非共轭设置下证据下界（ELBO）优化的影响是什么？
• RQ4 NGD在真实数据集上对不同似然族（如高斯和学生t分布）的表现如何？
• RQ5 当数据集规模和维度增大时，NGD是否仍保持优越性能？

主要发现

• 在高斯和学生t分布似然设置下，NGD的收敛速度均快于Adam、GD和LBFGS。
• NGD在高维问题（D=8, N=768）和重尾似然下表现出更优的优化稳定性。
• NGD在多次运行中更一致地达到更高的证据下界（ELBO），表明其变分近似质量更优。
• NGD在非共轭设置下显著优于标准方法，尤其在曲率信息起关键作用时，收敛速度优势明显。
• 曲率感知更新使优化更具鲁棒性，降低对超参数选择的敏感性。
• 在波士顿房价数据集（N=506, D=14）上的实证结果证实，NGD在ELBO最大化和参数收敛方面均表现更优。