[论文解读] On the Theory of Variance Reduction for Stochastic Gradient Monte Carlo

Niladri S. Chatterji, Nicolas Flammarion+3 more|arXiv (Cornell University)|Feb 15, 2018

Markov Chains and Monte Carlo Methods参考文献 23被引用 29

一句话总结

该论文在光滑、强凸且黑塞-Lipschitz连续的对数后验分布假设下，为方差减少的随机梯度蒙特卡洛方法——SAGA-Langevin、SVRG-Langevin以及控制变量非定常Langevin扩散——建立了精确的Wasserstein距离收敛保证。论文提出了一种新颖的基于李雅普诺夫函数的证明技术，结合有限和优化与采样分析，表明方差减少方法在精度ε下仅需$Ó(N + \sqrt{d}/\epsilon)$步，优于标准SGLD的$\u00d3(d/\epsilon^2)$步，尤其在低精度条件下表现更优。

ABSTRACT

We provide convergence guarantees in Wasserstein distance for a variety of variance-reduction methods: SAGA Langevin diffusion, SVRG Langevin diffusion and control-variate underdamped Langevin diffusion. We analyze these methods under a uniform set of assumptions on the log-posterior distribution, assuming it to be smooth, strongly convex and Hessian Lipschitz. This is achieved by a new proof technique combining ideas from finite-sum optimization and the analysis of sampling methods. Our sharp theoretical bounds allow us to identify regimes of interest where each method performs better than the others. Our theory is verified with experiments on real-world and synthetic datasets.

研究动机与目标

• 在统一且现实的假设下，整合并严格分析方差减少技术在随机梯度MCMC中的应用。
• 通过提供Wasserstein距离下精确的、非渐近的收敛速率，解决先前工作中存在的矛盾实验结果。
• 识别出方差减少方法优于标准SGLD的性能区间。
• 开发一种结合有限和优化与采样理论的新证明框架，以获得更优的收敛边界。

提出的方法

• 提出一种基于新颖耦合论证的李雅普诺夫函数，用于追踪Wasserstein距离中的收敛进度。
• 将该技术应用于分析SAGA-Langevin、SVRG-Langevin以及控制变量非定常Langevin扩散（CV-ULD）。
• 利用连续与离散非定常Langevin动力学的积分表示，推导其稳定性和收敛边界。
• 依赖于对数后验的光滑性、强凸性以及黑塞-Lipschitz连续性假设，放宽了先前对全局梯度范数的限制。
• 运用Young不等式与矩界，控制初始分布与中间分布到目标分布的距离。
• 通过结合耦合论证与扩散过程的谱性质，推导出非渐近收敛速率。

实验结果

研究问题

• RQ1 在何种条件下，方差减少的SG-MCMC方法在Wasserstein距离下收敛速度优于标准SGLD？
• RQ2 能否在相同假设下，构建一个统一的理论框架，用于比较SAGA-LD、SVRG-LD与CV-ULD？
• RQ3 初始分布质量与梯度方差对SG-MCMC收敛速率有何影响？
• RQ4 在不同目标精度$\epsilon$下，各种方差减少策略的表现如何？
• RQ5 有限和优化中的证明技术能否被适配以在采样问题中获得更紧的边界？

主要发现

• 论文建立了方差减少方法的$\tilde{\mathcal{O}}(N + \sqrt{d}/\epsilon)$收敛步数，显著优于SGLD在低精度条件下的$\tilde{\mathcal{O}}(d/\epsilon^2)$。
• SAGA-Langevin与SVRG-Langevin的收敛速率随数据点数$N$的增加而有利地改善，体现了其来自有限和优化的根源。
• 控制变量非定常Langevin（CV-ULD）得益于二阶动力学，在梯度方差降低时可实现更快混合。
• 理论边界证实，当目标精度$\epsilon$较小时，方差减少方法优于SGLD；而当后验估计精度较低时，SGLD更具优势。
• 初始分布与目标分布之间的Wasserstein距离被限制为$W_2^2(p^{(0)}, p^*) \leq 2d/m$，这对建立全局收敛性至关重要。
• 李雅普诺夫函数方法通过追踪非定常SDE中的位置与速度动态，获得了比先前方法更紧的边界。