[论文解读] Stochastic Gradient Hamiltonian Monte Carlo

Tianqi Chen, Emily B. Fox+1 more|arXiv (Cornell University)|Feb 17, 2014

Markov Chains and Monte Carlo Methods参考文献 23被引用 352

一句话总结

本文提出随机梯度哈密顿蒙特卡洛（SGHMC），一种可扩展的贝叶斯推断方法，结合哈密顿蒙特卡洛与随机梯度，适用于大规模和在线数据。通过在二阶朗日日尼动力学中引入阻尼项，SGHMC 尽管使用噪声梯度，仍能保持正确的目标分布作为其不变测度，从而实现无需完整数据梯度计算的高效、高接受率采样。

ABSTRACT

Hamiltonian Monte Carlo (HMC) sampling methods provide a mechanism for defining distant proposals with high acceptance probabilities in a Metropolis-Hastings framework, enabling more efficient exploration of the state space than standard random-walk proposals. The popularity of such methods has grown significantly in recent years. However, a limitation of HMC methods is the required gradient computation for simulation of the Hamiltonian dynamical system-such computation is infeasible in problems involving a large sample size or streaming data. Instead, we must rely on a noisy gradient estimate computed from a subset of the data. In this paper, we explore the properties of such a stochastic gradient HMC approach. Surprisingly, the natural implementation of the stochastic approximation can be arbitrarily bad. To address this problem we introduce a variant that uses second-order Langevin dynamics with a friction term that counteracts the effects of the noisy gradient, maintaining the desired target distribution as the invariant distribution. Results on simulated data validate our theory. We also provide an application of our methods to a classification task using neural networks and to online Bayesian matrix factorization.

研究动机与目标

• 解决在大规模或流式数据场景下全梯度哈密顿蒙特卡洛（HMC）计算不可行的问题。
• 研究朴素随机梯度 HMC 失败的原因，即注入的噪声会破坏目标分布。
• 开发一种改进的 HMC 框架，在随机梯度下仍能保持期望后验分布为不变分布。
• 在大数据和在线贝叶斯推断场景中实现高效、高接受率的 MCMC 采样。
• 在贝叶斯神经网络和在线矩阵分解任务中展示方法的实际有效性。

提出的方法

• 提出一种随机梯度 HMC 变体，用噪声小批量梯度替代全数据梯度。
• 在二阶朗日日尼动力学中引入阻尼项，以抵消随机梯度噪声的影响。
• 证明所得到的连续时间动力学能保持目标后验分布为不变分布。
• 在离散化动力学中使用小而固定的步长，避免需要梅特罗波利斯-黑斯廷斯校正。
• 利用中心极限定理将梯度噪声建模为高斯分布，以支持理论分析。
• 通过理论分析和在合成数据与真实世界数据上的实证评估验证该方法。

实验结果

研究问题

• RQ1 为何朴素随机梯度 HMC 无法保持正确的目标分布？
• RQ2 在朗日日尼动力学中引入阻尼项是否能恢复随机梯度下的期望不变分布？
• RQ3 在大规模问题上，SGHMC 与 SGLD 和标准 HMC 相比，收敛速度和准确率如何？
• RQ4 SGHMC 是否能有效应用于矩阵分解等在线贝叶斯推断任务？
• RQ5 SGHMC 中步长、计算成本与采样精度之间的权衡是什么？

主要发现

• 朴素随机梯度 HMC 失败的原因是注入的噪声会破坏哈密顿动力学，导致错误的不变分布。
• 所提出的二阶朗日日尼动力学中的阻尼项能有效抵消梯度噪声，成功保持目标后验分布为不变分布。
• 在 MNIST 分类的贝叶斯神经网络上，SGHMC 比 SGLD 和带动量的 SGD 更快收敛到低测试误差。
• 在 Movielens 数据集上的在线贝叶斯矩阵分解中，SGHMC 达到了 0.8411 ± 0.0011 的预测 RMSE，优于 SGD 和带动量的 SGD。
• SGHMC 在运行时间上与 SGLD 相当，同时性能更好或相当，证实了其高效性和可扩展性。
• 实证结果表明，即使使用小而固定的步长，SGHMC 也能保持良好的采样质量，且无需梅特罗波利斯-黑斯廷斯校正。