[论文解读] (Non-) asymptotic properties of Stochastic Gradient Langevin Dynamics

Sebastian J. Vollmer, Konstantinos C. Zygalakis+1 more|arXiv (Cornell University)|Jan 2, 2015

Markov Chains and Monte Carlo Methods参考文献 1被引用 29

一句话总结

本文分析了固定步长下随机梯度朗之万动力学（SGLD）的非渐近偏差与方差，推导出显式的渐近偏差展开式，并提出一种改进的SGLD（mSGLD），以消除由随机梯度方差引起的主导阶偏差。本文建立了偏差、方差和均方误差（MSE）的有限时间界，表明在高精度场景下mSGLD优于标准SGLD，且其MSE衰减速率与减小步长的SGLD相同，同时在高斯模型上提供了理论验证。

ABSTRACT

Applying standard Markov chain Monte Carlo (MCMC) algorithms to large data sets is computationally infeasible. The recently proposed stochastic gradient Langevin dynamics (SGLD) method circumvents this problem in three ways: it generates proposed moves using only a subset of the data, it skips the Metropolis-Hastings accept-reject step, and it uses sequences of decreasing step sizes. In \cite{TehThierryVollmerSGLD2014}, we provided the mathematical foundations for the decreasing step size SGLD, including consistency and a central limit theorem. However, in practice the SGLD is run for a relatively small number of iterations, and its step size is not decreased to zero. The present article investigates the behaviour of the SGLD with fixed step size. In particular we characterise the asymptotic bias explicitly, along with its dependence on the step size and the variance of the stochastic gradient. On that basis a modified SGLD which removes the asymptotic bias due to the variance of the stochastic gradients up to first order in the step size is derived. Moreover, we are able to obtain bounds on the finite-time bias, variance and mean squared error (MSE). The theory is illustrated with a Gaussian toy model for which the bias and the MSE for the estimation of moments can be obtained explicitly. For this toy model we study the gain of the SGLD over the standard Euler method in the limit of large data sets.

研究动机与目标

• 理解固定步长SGLD的非渐近行为，尽管其在实践中广泛应用，但理论基础通常依赖于递减步长。
• 以步长和随机梯度方差为变量，显式刻画SGLD的渐近偏差。
• 推导一种改进的SGLD（mSGLD），通过在步长的一阶项内消除由梯度方差引起的主导阶偏差。
• 为SGLD和mSGLD建立偏差、方差和均方误差（MSE）的有限时间上界。
• 通过高斯模型中的解析计算与逻辑回归中的数值模拟，验证理论结果。

提出的方法

• 推导SGLD偏差的渐近展开式，至步长的一阶项，识别其对随机梯度估计器方差的依赖关系。
• 提出一种改进的SGLD（mSGLD），通过控制变量方法调整梯度估计器，以校正主导阶偏差。
• 利用耦合与鞅技术，为SGLD和mSGLD的偏差、方差和MSE建立有限时间上界。
• 分析一维高斯位置模型，推导样本均值及其各阶矩的精确表达式，从而实现对偏差与MSE的理论验证。
• 在贝叶斯逻辑回归中进行数值模拟，采用固定步长，比较不同批量大小与迭代次数下SGLD与mSGLD的MSE表现。

实验结果

研究问题

• RQ1 固定步长SGLD的渐近偏差的显式形式是什么？其如何依赖于步长与梯度方差？
• RQ2 能否构造一种改进的SGLD，以消除由随机梯度方差引起的主导阶偏差？
• RQ3 SGLD与mSGLD的偏差、方差与均方误差（MSE）的有限时间界是什么？
• RQ4 在高精度场景与小批量数据下，mSGLD与标准SGLD在MSE表现上如何比较？
• RQ5 在大数据极限下，mSGLD是否能达到与减小步长SGLD相同的MSE衰减速率？

主要发现

• SGLD的渐近偏差被显式刻画为与随机梯度估计器方差成正比，其系数依赖于步长。
• 所提出的mSGLD在步长的一阶项内消除了由梯度方差引起的主导阶偏差，显著提升了高精度场景下的准确性。
• 推导出偏差、方差与MSE的有限时间上界，表明MSE的衰减速率与减小步长SGLD的最优 $ K^{-1/3} $ 速率一致。
• 在高斯模型中，推导出时间平均估计器偏差与MSE的精确表达式，验证了理论偏差展开与MSE衰减行为。
• 逻辑回归的数值结果表明，当批量大小适中（$ n=150 $）时，mSGLD在MSE上优于SGLD；但当批量过小（$ n=10, 50 $）时表现更差，表明偏差与方差之间存在权衡。
• 在大数据极限下，SGLD通过将估计二阶矩的计算复杂度降低 $ N $ 的一个幂次，实现了MSE趋近于零的计算增益，表明其在大规模贝叶斯推断中具有显著计算优势。