[论文解读] Reducing Reparameterization Gradient Variance

Andrew C. Miller, Nicholas J. Foti+2 more|arXiv (Cornell University)|May 22, 2017

Machine Learning and Algorithms被引用 40

一句话总结

本文通过构建基于重参数化过程生成过程的线性近似控制变量，提出了一种针对蒙特卡洛变分推断（MCVI）中重参数化梯度估计器的方差减少技术。该方法在梯度范数上实现了最高达2,000倍的方差减少，显著提升了优化速度与稳定性，且计算开销仅比标准MCVI略高。

ABSTRACT

Optimization with noisy gradients has become ubiquitous in statistics and machine learning. Reparameterization gradients, or gradient estimates computed via the "reparameterization trick," represent a class of noisy gradients often used in Monte Carlo variational inference (MCVI). However, when these gradient estimators are too noisy, the optimization procedure can be slow or fail to converge. One way to reduce noise is to use more samples for the gradient estimate, but this can be computationally expensive. Instead, we view the noisy gradient as a random variable, and form an inexpensive approximation of the generating procedure for the gradient sample. This approximation has high correlation with the noisy gradient by construction, making it a useful control variate for variance reduction. We demonstrate our approach on non-conjugate multi-level hierarchical models and a Bayesian neural net where we observed gradient variance reductions of multiple orders of magnitude (20-2,000x).

研究动机与目标

• 为解决蒙特卡洛变分推断（MCVI）中重参数化梯度估计器的高方差问题，该问题会减缓优化过程并阻碍收敛。
• 在不增加样本数量的前提下降低梯度方差，避免朴素蒙特卡罗平均法的O(1/√N)收敛速率。
• 开发一种计算高效的控制变量，利用梯度估计器已知的随机生成过程。
• 提升非共轭层次模型和贝叶斯神经网络中优化的稳定性和收敛速度。
• 将低方差梯度估计的适用范围扩展至标准方差减少技术成本过高或不适用的复杂模型。

提出的方法

• 通过将梯度估计器作为重参数化过程中随机噪声源的线性函数进行解析近似，构建控制变量。
• 利用Hessian-向量积（HVP）和局部线性近似，计算低成本且高相关性的梯度控制变量。
• 通过保持无偏性的线性组合方式，将朴素蒙特卡罗梯度估计与控制变量结合，从而降低方差。
• 将该方法应用于高斯变分族，显式建模梯度对隐变量样本的依赖关系。
• 采用局部Hessian近似，无需完整Hessian计算即可高效计算控制变量。
• 使用Adam优化器，在非共轭层次模型和贝叶斯神经网络上验证方法，评估指标包括运行时间与ELBO收敛性。

实验结果

研究问题

• RQ1 能否通过梯度估计器生成过程的线性近似导出的控制变量，显著降低重参数化梯度的方差？
• RQ2 与朴素蒙特卡罗平均法相比，该方法在收敛速度和优化稳定性方面表现如何？
• RQ3 与对角Hessian近似相比，采用局部近似的Hessian-向量积在方差减少方面表现如何？
• RQ4 该方法在不同模型类型（如层次模型和贝叶斯神经网络）中是否仍保持有效性？
• RQ5 该方法能否在不增加样本量的前提下，将梯度方差降低多个数量级？

主要发现

• 在frisk层次模型上，所提方法在梯度估计器范数上实现了最高达2,000倍的方差减少，具体减少幅度依优化进度而异，范围为20倍至3,000倍。
• 在贝叶斯神经网络中，HVP+Local估计器将完整参数梯度范数的方差减少了100至5,000倍，显著优于使用L=50样本的纯蒙特卡罗估计器。
• 完整Hessian-向量积对于降低均值参数方差至关重要，而仅使用对角Hessian近似仅能将方差减少2至5倍。
• 在优化后期，HVP+Local方法对尺度参数仍保持显著的方差减少，而完整Hessian估计器持续表现更优，表明局部近似仍存在残余噪声。
• 优化轨迹显示，即使样本数更少（如L=10 vs. L=50），HVP+Local估计器的收敛速度更快且噪声更小。
• 该方法在实际运行时间上实现了更快收敛，L=10的HVP+Local估计器在贝叶斯神经网络模型上已优于L=50的蒙特卡罗估计器。