[论文解读] Perturbative Black Box Variational Inference

Robert Bamler, Cheng Zhang+2 more|arXiv (Cornell University)|Sep 21, 2017

Gaussian Processes and Bayesian Inference参考文献 20被引用 7

一句话总结

本文提出扰动黑箱变分推断（PBBVI），这是一种基于奇数阶 $K$ 索引的新一类变分下界，通过降低梯度方差并收紧边缘似然的界，改进了标准黑箱变分推断。当 $K=3$ 时，PBBVI 在后验覆盖度和测试似然方面优于 KLVI 和 alpha-VI，且梯度方差更低、收敛速度更快。

ABSTRACT

Black box variational inference (BBVI) with reparameterization gradients triggered the exploration of divergence measures other than the Kullback-Leibler (KL) divergence, such as alpha divergences. In this paper, we view BBVI with generalized divergences as a form of estimating the marginal likelihood via biased importance sampling. The choice of divergence determines a bias-variance trade-off between the tightness of a bound on the marginal likelihood (low bias) and the variance of its gradient estimators. Drawing on variational perturbation theory of statistical physics, we use these insights to construct a family of new variational bounds. Enumerated by an odd integer order $K$, this family captures the standard KL bound for $K=1$, and converges to the exact marginal likelihood as $K o\infty$. Compared to alpha-divergences, our reparameterization gradients have a lower variance. We show in experiments on Gaussian Processes and Variational Autoencoders that the new bounds are more mass covering, and that the resulting posterior covariances are closer to the true posterior and lead to higher likelihoods on held-out data.

研究动机与目标

• 解决使用广义散度（特别是 alpha-散度）的重参数化黑箱变分推断中梯度估计器方差过高的问题。
• 通过利用统计物理中的微扰理论，开发一类能平衡偏差与方差的新变分下界家族。
• 构建一种方法，在保持低方差重参数化梯度的同时，随着 $K \to \infty$ 逼近精确的边缘似然。
• 通过实证验证，新下界在后验近似质量和预测似然方面优于现有方法（如 KLVI 和 alpha-VI）。

提出的方法

• 提出一种基于奇数 $K$ 索引的新变分下界 $\mathcal{L}^{(K)}(\lambda, V_0)$，其源自统计物理的微扰理论。
• 该下界表示为对变分分布的期望，形式为对数密度差 $\log p(\mathbf{x}, \mathbf{z}) - \log q(\mathbf{z}; \lambda) + V_0$ 的多项式展开，展开至 $K$ 阶。
• 使用重参数化梯度实现高效、低方差的优化，通过随机梯度下降求解。
• 引入可学习的参考能量 $V_0$，作为数据的函数，通过神经网络建模，以提升灵活性和近似质量。
• 将该方法应用于高斯过程和变分自编码器，利用摊销推理网络实现对大规模数据集的可扩展性。
• 采用每轮随机打乱数据并使用大小为 20 的小批量训练策略，以确保收敛稳定。

实验结果

研究问题

• RQ1 能否基于微扰理论推导出一类新变分下界，以降低梯度方差并收紧边缘似然的界？
• RQ2 PBBVI 在后验覆盖度和预测似然方面与 KLVI 和 alpha-VI 相比表现如何？
• RQ3 提高微扰阶数 $K$ 是否能系统性地提升近似质量与收敛速度？
• RQ4 能否通过小批量训练和摊销推理有效将 PBBVI 下界扩展至大规模数据集？

主要发现

• 当 $K=3$ 时，PBBVI 生成的变分分布比 KLVI 和 alpha-VI 更好地覆盖真实后验质量，尤其在较小的训练集上表现更优。
• 在所有训练集大小下，PBBVI 在保留测试数据上的预测对数似然均高于 KLVI，且在较小子集上增益最大。
• PBBVI 中的梯度估计器方差显著低于 alpha-VI，从而在训练过程中实现更快收敛。
• 随着训练集规模增大，PBBVI 的性能趋近于 KLVI，这与理论预期一致：当 $\mathbb{E}_{q^*}[(V_0^* - V)^3] = 0$ 时，大样本极限下会收敛至 KLVI。
• 当 $K \to \infty$ 时，PBBVI 下界收敛至真实边缘似然，表明其与真实后验具有理论一致性。
• 该方法通过在更高 $K$ 下更紧密地近似对数边缘似然，使得变分 EM 中的超参数优化更加可靠。