[论文解读] Rejection Sampling Variational Inference

Christian A. Naesseth, Francisco J. R. Ruiz+2 more|arXiv (Cornell University)|Oct 18, 2016

Gaussian Processes and Bayesian Inference参考文献 32被引用 4

一句话总结

本文提出了一种新颖的重参数化梯度方法，用于变分推断，该方法通过将拒绝采样步骤嵌入可微分框架中，适用于基于接受-拒绝采样的分布（如伽马分布和狄利克雷分布）。通过实现低方差梯度估计，该方法在随机梯度变分推断中相比现有方法实现了更快的收敛速度。

ABSTRACT

Variational inference using the reparameterization trick has enabled large-scale approximate Bayesian inference in complex probabilistic models, leveraging stochastic optimization to sidestep intractable expectations. The reparameterization trick is applicable when we can simulate a random variable by applying a differentiable deterministic function on an auxiliary random variable whose distribution is fixed. For many distributions of interest (such as the gamma or Dirichlet), simulation of random variables relies on acceptance-rejection sampling. The discontinuity introduced by the accept-reject step means that standard reparameterization tricks are not applicable. We propose a new method that lets us leverage reparameterization gradients even when variables are outputs of a acceptance-rejection sampling algorithm. Our approach enables reparameterization on a larger class of variational distributions. In several studies of real and synthetic data, we show that the variance of the estimator of the gradient is significantly lower than other state-of-the-art methods. This leads to faster convergence of stochastic gradient variational inference.

研究动机与目标

• 解决标准重参数化梯度在需要接受-拒绝采样的分布（如伽马分布和狄利克雷分布）中的局限性。
• 通过使拒绝步骤可微，使变分推断中的随机优化适用于更广泛的分布类别。
• 与现有方法相比，降低梯度估计器的方差，从而加速随机梯度变分推断中的收敛。
• 开发一个通用框架，将拒绝采样与重参数化梯度相结合，而无需依赖闭式反累积分布函数（CDF）。

提出的方法

• 该方法引入了一种可微重参数化方案，通过使用拒绝指示器的连续松弛，将接受-拒绝决策建模为随机且可微的过程。
• 它在松弛形式下利用逆变换方法，其中拒绝步骤通过接受概率的连续松弛进行参数化。
• 该方法使用接受指示器的连续松弛，使反向传播能够通过拒绝采样过程，从而实现梯度计算。
• 该方法在保持拒绝采样计算效率的同时，通过重参数化实现了基于梯度的优化。
• 它对辅助变量和接受决策联合应用重参数化技巧，将整个采样过程视为一个可微变换。

实验结果

研究问题

• RQ1 我们能否将重参数化梯度扩展到需要接受-拒绝采样的分布（如伽马分布和狄利克雷分布）？
• RQ2 如何使接受-拒绝步骤可微，以在变分推断中实现基于梯度的优化？
• RQ3 与现有方法相比，该方法在复杂模型中是否能产生更低方差的梯度估计器？
• RQ4 该方法能否在真实世界和合成数据中提升随机梯度变分推断的收敛速度？

主要发现

• 所提出的方法使原本在标准重参数化下难以处理的分布（如伽马分布和狄利克雷分布）实现了重参数化梯度。
• 梯度估计器的方差显著低于最先进方法，从而在随机优化中实现更快收敛。
• 在真实数据和合成数据上的实证结果表明，该方法在变分推断的收敛速度和稳定性方面均表现出一致的改进。
• 该方法在无需闭式反累积分布函数或修改底层拒绝采样机制的情况下实现了这些性能提升。