[论文解读] The True Cost of Stochastic Gradient Langevin Dynamics

Tigran Nagapetyan, A. Duncan+4 more|arXiv (Cornell University)|Jun 8, 2017

Markov Chains and Monte Carlo Methods参考文献 8被引用 32

一句话总结

本文分析了在数据集不断增长的强对数凹模型中，随机梯度朗之万动力学（SGLD）的计算成本，表明对于给定的精度，子采样并不能改善计算成本的缩放性能。尽管使用了随机梯度，SGLD 的均方误差（MSE）缩放特性与全梯度欧拉离散化相似，因此需要采用控制变量方法才能显著降低计算成本，这挑战了SGLD在大规模数据场景下具有计算优势的假设。

ABSTRACT

The problem of posterior inference is central to Bayesian statistics and a wealth of Markov Chain Monte Carlo (MCMC) methods have been proposed to obtain asymptotically correct samples from the posterior. As datasets in applications grow larger and larger, scalability has emerged as a central problem for MCMC methods. Stochastic Gradient Langevin Dynamics (SGLD) and related stochastic gradient Markov Chain Monte Carlo methods offer scalability by using stochastic gradients in each step of the simulated dynamics. While these methods are asymptotically unbiased if the stepsizes are reduced in an appropriate fashion, in practice constant stepsizes are used. This introduces a bias that is often ignored. In this paper we study the mean squared error of Lipschitz functionals in strongly log- concave models with i.i.d. data of growing data set size and show that, given a batchsize, to control the bias of SGLD the stepsize has to be chosen so small that the computational cost of reaching a target accuracy is roughly the same for all batchsizes. Using a control variate approach, the cost can be reduced dramatically. The analysis is performed by considering the algorithms as noisy discretisations of the Langevin SDE which correspond to the Euler method if the full data set is used. An important observation is that the 1scale of the step size is determined by the stability criterion if the accuracy is required for consistent credible intervals. Experimental results confirm our theoretical findings.

研究动机与目标

• 量化在大样本数据下，SGLD相对于均方误差（MSE）精度的计算成本。
• 研究在大数据极限下，类似SGLD的随机梯度方法是否相较于全梯度MCMC真正具有计算优势。
• 考察在强对数凹后验模型中，恒定步长和子采样对偏差和MSE的影响。
• 评估SGLD在机器学习中经验上的成功是否源于对后验分布的忠实采样，还是类似于随机梯度下降的平均化效应。
• 探讨控制变量在保持精度的同时降低SGLD计算成本中的作用。

提出的方法

• 将SGLD视为朗之万SDE的噪声欧拉离散化，与全梯度欧拉方法进行比较。
• 推导在独立同分布数据的强对数凹模型中，Lipschitz泛函的MSE理论界。
• 使用高斯模型作为简化模型，分析MSE随数据集大小N、批次大小和步长的变化规律。
• 应用控制变量技术以降低SGLD估计器的方差和计算成本。
• 通过高斯模型和逻辑回归上的数值实验，验证理论结果。
• 在固定计算成本下，将SGLD与全梯度MCMC和随机梯度HMC进行比较。

实验结果

研究问题

• RQ1 在固定目标MSE精度下，SGLD中的子采样是否能改善计算成本随数据集大小N的缩放性能？
• RQ2 当使用固定批次大小时，控制SGLD中偏差所需的步长是多少？这如何影响计算成本？
• RQ3 在N趋于无穷的极限下，SGLD的MSE与全梯度欧拉离散化的MSE相比如何？
• RQ4 控制变量能否在保持目标精度的同时显著降低SGLD的计算成本？
• RQ5 SGLD在机器学习中表现出的优异性能，是源于对后验分布的忠实采样，还是类似于随机梯度下降的平均化效应？

主要发现

• 对于固定批次大小，控制SGLD中偏差所需的步长按O(N⁻²)缩放，导致计算成本与全梯度方法相当。
• 子采样无法改善计算成本随数据集大小N的缩放性能；在MSE缩放方面，SGLD在渐近意义上并不优于全梯度欧拉离散化。
• 数值实验表明，在固定计算成本（相同批次大小和步长）下，不同数据集大小下的RMSE保持恒定。
• 控制变量方法能显著降低SGLD的计算成本，表明其在SGLD实际效率中至关重要。
• SGLD的性能可能更多源于类似于随机梯度下降的平均化效应，而非对后验分布的忠实采样。
• 结果表明，在大规模数据场景下，SGLD的计算成本主要受控制偏差所需极小步长的限制，从而限制了其可扩展性优势。