[论文解读] Stochastic Variance-Reduced Hamilton Monte Carlo Methods

Difan Zou, Pan Xu+1 more|arXiv (Cornell University)|Feb 13, 2018

Markov Chains and Monte Carlo Methods参考文献 43被引用 6

一句话总结

本文提出了一种随机方差减少哈密顿蒙特 Carlo（SVR-HMC）方法，用于从光滑且强对数凹分布中高效抽样。通过将随机优化中的方差减少技术整合到 HMC 中，该方法在 2- Wasserstein 距离下达到 $\epsilon$-精度的梯度复杂度为 $\widetilde{O}\big{(}n + \kappa^{2}d^{1/2}/\epsilon + \kappa^{4/3}d^{1/3}n^{2/3}/\epsilon^{2/3}\big{)}$，在广泛参数范围内优于现有的 HMC 和随机梯度 HMC 方法。

ABSTRACT

We propose a fast stochastic Hamilton Monte Carlo (HMC) method, for sampling from a smooth and strongly log-concave distribution. At the core of our proposed method is a variance reduction technique inspired by the recent advance in stochastic optimization. We show that, to achieve $ε$ accuracy in 2-Wasserstein distance, our algorithm achieves $ ilde O(n+κ^{2}d^{1/2}/ε+κ^{4/3}d^{1/3}n^{2/3}/ε^{2/3})$ gradient complexity (i.e., number of component gradient evaluations), which outperforms the state-of-the-art HMC and stochastic gradient HMC methods in a wide regime. We also extend our algorithm for sampling from smooth and general log-concave distributions, and prove the corresponding gradient complexity as well. Experiments on both synthetic and real data demonstrate the superior performance of our algorithm.

研究动机与目标

• 开发一种基于哈密顿蒙特 Carlo（HMC）的更快抽样方法，用于光滑且强对数凹分布。
• 通过利用随机优化中的方差减少技术，降低 HMC 中梯度计算的计算成本。
• 与最先进的 HMC 和随机梯度 HMC 方法相比，实现更优的收敛速率（以梯度复杂度衡量）。
• 将该方法扩展至一般光滑且对数凹分布，并分析其收敛性质。

提出的方法

• 提出一种将方差减少技术整合到 HMC 框架中的随机方差减少哈密顿蒙特 Carlo（SVR-HMC）算法。
• 采用控制变量子策略，降低 HMC 更新步骤中随机梯度的方差。
• 采用周期性全梯度更新，以在降低随机梯度估计噪声的同时保持精度。
• 在强对数凹性假设下，为 SVR-HMC 推导出新的收敛性分析，界定了与目标分布之间的 2-Wasserstein 距离。
• 引入一种步长和动量参数调度策略，以平衡混合速度与稳定性。
• 通过平滑技术将该方法扩展至一般光滑且对数凹分布，并证明了相应的收敛性保证。

实验结果

研究问题

• RQ1 能否有效将随机优化中的方差减少技术适配到哈密顿蒙特 Carlo 中，以提升抽样效率？
• RQ2 在强对数凹性假设下，实现 $\epsilon$-精度（以 2-Wasserstein 距离衡量）的随机 HMC 方法的最优梯度复杂度是多少？
• RQ3 与现有 HMC 和随机梯度 HMC 方法相比，所提出的 SVR-HMC 方法在收敛速率和梯度复杂度方面表现如何？
• RQ4 该方差减少框架能否扩展至强凸性之外的一般光滑且对数凹分布？

主要发现

• 所提出的 SVR-HMC 方法在光滑且强对数凹分布下，达到 $\epsilon$-精度（以 2-Wasserstein 距离衡量）的梯度复杂度为 $\widetilde{O}\big{(}n + \kappa^{2}d^{1/2}/\epsilon + \kappa^{4/3}d^{1/3}n^{2/3}/\epsilon^{2/3}\big{)}$。
• 该复杂度在广泛参数范围内优于最先进的 HMC 和随机梯度 HMC 方法，尤其在 $n$ 较大或 $\epsilon$ 较小时表现更优。
• 对于一般光滑且对数凹分布，该方法也获得了相应的梯度复杂度界，使其适用范围扩展至强凸情况之外。
• 在合成数据集和真实数据集上的实验表明，SVR-HMC 的收敛速度更快，且抽样精度优于基线方法。