[论文解读] Smoothed Gradients for Stochastic Variational Inference

Stephan Mandt, David M. Blei|arXiv (Cornell University)|Jun 13, 2014

Gaussian Processes and Bayesian Inference参考文献 18被引用 10

一句话总结

本文通过用过去充分统计量的固定窗口移动平均代替无偏自然梯度，提出了一种用于随机变分推断（SVI）的平滑梯度方法，仅以恒定的存储开销降低了梯度方差。该方法在中间窗口大小（L=10–100）时实现了比标准SVI更快的收敛速度和更好的预测似然，这是由于偏差与方差之间达到了最佳权衡。

ABSTRACT

Stochastic variational inference (SVI) lets us scale up Bayesian computation to massive data. It uses stochastic optimization to fit a variational distribution, following easy-to-compute noisy natural gradients. As with most traditional stochastic optimization methods, SVI takes precautions to use unbiased stochastic gradients whose expectations are equal to the true gradients. In this paper, we explore the idea of following biased stochastic gradients in SVI. Our method replaces the natural gradient with a similarly constructed vector that uses a fixed-window moving average of some of its previous terms. We will demonstrate the many advantages of this technique. First, its computational cost is the same as for SVI and storage requirements only multiply by a constant factor. Second, it enjoys significant variance reduction over the unbiased estimates, smaller bias than averaged gradients, and leads to smaller mean-squared error against the full gradient. We test our method on latent Dirichlet allocation with three large corpora.

研究动机与目标

• 解决SVI中随机梯度方差过高的问题，该问题会阻碍收敛速度与模型质量。
• 探索在SVI中使用有偏随机梯度的可行性，挑战传统上对无偏估计的依赖。
• 开发一种在保持SVI计算效率与约束保持特性的同时降低梯度方差的方法。
• 通过在平滑梯度估计器中平衡偏差与方差，实现相对于完整梯度更低的均方误差。
• 在真实语料的大规模主题建模任务中展示改进的性能。

提出的方法

• 将SVI中标准的无偏随机自然梯度替换为使用先前充分统计量固定窗口移动平均的平滑梯度。
• 平滑梯度被计算为过去L个充分统计量的加权平均：$\sum_{j=0}^{L-1} \hat{S}_{i-j} $，替代梯度更新中的当前$\hat{S}_i$。
• 更新规则仍保持为凸组合形式：$\lambda_{i+1} = (1 - \rho_i)\lambda_i + \rho_i(\eta + N \cdot \text{smoothed } \hat{S}_i)$，从而保持参数的可行性。
• 该方法的计算成本与标准SVI相同，仅存储开销因窗口大小L而恒定增加。
• 该方法避免了平均梯度（AG）中常见的约束违反问题，因为它不直接对参数本身进行平均。
• 引入的偏差小于AG方法，同时实现了相同的方差降低效果，从而导致更低的均方误差。

实验结果

研究问题

• RQ1 有偏随机梯度是否能通过提升收敛速度与模型质量，改善随机变分推断的性能？
• RQ2 使用过去充分统计量的固定窗口移动平均，是否能比无偏估计更有效地降低梯度方差，同时保持计算效率？
• RQ3 平滑梯度中偏差与方差之间的权衡，如何影响大规模数据上的最终模型似然？
• RQ4 与现有有偏梯度方法（如平均梯度）相比，该方法是否能更好地保持参数可行性（如正性或单纯形约束）？
• RQ5 在预测性能与计算成本之间权衡下，平滑梯度的最优窗口大小L是多少？

主要发现

• 平滑梯度方法相比标准SVI的无偏梯度，显著降低了方差，且仅需恒定的存储开销增加。
• 在三个大规模语料（Arxiv、NYT、Wikipedia）上的潜在狄利克雷分布（LDA）任务中，中间窗口大小（L=10至L=100）实现了最高的保留数据预测似然。
• 该方法收敛速度优于标准SVI，并达到了更好的局部最优解，最佳性能出现在L=10–100之间，而L=∞（完全平均）因偏差过大而表现下降。
• 与平均梯度（AG）相比，平滑梯度在偏差与方差两方面均表现更优，因为AG引入了更大的偏差，导致参数约束被违反。
• 在恒定学习率10⁻³和24小时时间预算下，该方法在Arxiv语料上最多完成了30次有效遍历，NYT为5次，Wikipedia为6次，且预测似然高于基线SVI。
• 该方法在不同语料上均表现出稳健性能，在所有三个数据集上均一致提升了预测概率。