[论文解读] Variance reduction properties of the reparameterization trick

Ming Xu, Matias Quiroz+2 more|arXiv (Cornell University)|Sep 27, 2018

Molecular Biology Techniques and Applications被引用 5

一句话总结

本文通过理论分析解释了重参数化技巧为何能降低变分推断中的梯度方差，表明在均值场高斯分布和二次对数联合密度的假设下，由于在采样区域上的方差减少，重参数化梯度估计器的边际方差低于得分函数估计器。其主要贡献在于提出了一种形式化的方差分解，解释了重参数化技巧在实践中取得成功的原因。

ABSTRACT

The reparameterization trick is widely used in variational inference as it yields more accurate estimates of the gradient of the variational objective than alternative approaches such as the score function method. Although there is overwhelming empirical evidence in the literature showing its success, there is relatively little research exploring why the reparameterization trick is so effective. We explore this under the idealized assumptions that the variational approximation is a mean-field Gaussian density and that the log of the joint density of the model parameters and the data is a quadratic function that depends on the variational mean. From this, we show that the marginal variances of the reparameterization gradient estimator are smaller than those of the score function gradient estimator. We apply the result of our idealized analysis to real-world examples.

研究动机与目标

• 理解重参数化技巧在变分推断中表现更优的理论原因。
• 在理想化假设下，比较得分函数梯度估计器与重参数化梯度估计器的方差特性。
• 在变分近似为均值场高斯分布且对数联合密度关于变分均值为二次函数的简化设定下，推导两种估计器的边际方差的解析表达式。
• 在真实模型上验证理论发现，这些模型的假设并不严格成立，例如多项式逻辑回归和贝叶斯神经网络。

提出的方法

• 假设变分近似为均值场高斯分布，并假设对数联合密度函数依赖于变分均值且为二次函数，以保证解析可解性。
• 利用对数联合密度的二阶泰勒展开，推导得分函数估计器和重参数化梯度估计器的边际方差的闭式表达式。
• 应用Rao-Blackwellization推导得分函数估计器边际方差的下界，从而实现与重参数化估计器的直接比较。
• 利用推导出的方差表达式，分析曲率、尺度参数和均值对估计器效率的影响。
• 在真实模型上验证理论洞见：贝叶斯多项式逻辑回归和两层贝叶斯神经网络，尽管其对数联合密度并非二次函数。
• 在MNIST数据上进行三项实验，研究尺度参数和均值对梯度方差的影响，将实证结果与理论预测进行比较。

实验结果

研究问题

• RQ1 为何在实践中重参数化技巧能产生比得分函数方法更低方差的梯度估计器？
• RQ2 在均值场高斯分布和二次对数联合密度假设下，得分函数与重参数化梯度估计器的边际方差如何比较？
• RQ3 梯度估计器在其采样区域上的变化程度在决定方差降低中起到何种作用？
• RQ4 曲率、尺度参数和均值如何影响两种梯度估计器的相对效率？
• RQ5 在非理想、真实世界模型中，基于理想化假设推导出的理论方差表达式在多大程度上仍能解释梯度方差的行为？

主要发现

• 重参数化梯度估计器的边际方差低于得分函数估计器，因为其在变分分布采样区域上的变化更小。
• 得分函数估计器包含变分均值的高阶项，导致其方差高于重参数化估计器。
• 两种估计器的边际方差均随对数联合密度在变分均值附近的局部曲率增大而增加，该曲率由Hessian矩阵的范数衡量。
• 当变分尺度参数趋近于零时，得分函数估计器的边际方差增大，而重参数化估计器在此条件下保持稳定。
• 尽管贝叶斯神经网络中的对数联合密度并非二次函数，但关于采样区域上变化减少的理论直觉仍能解释实践中观察到的方差降低现象。
• 在MNIST逻辑回归上的实证结果表明，尽管方差增大时近似效果下降，但理论方差表达式仍能捕捉梯度方差的变化趋势，尤其是在尺度参数较小时。