[论文解读] Variational Inference with Rényi Divergence.

Yingzhen Li, Richard E. Turner|arXiv (Cornell University)|Feb 6, 2016

Gaussian Processes and Bayesian Inference参考文献 31被引用 12

一句话总结

本文提出了变分Rényi界（VR），一种基于Rényi散度的变分推断统一框架，通过Rényi的α-散度实现证据下界（ELBO）与边缘似然对数之间的平滑插值。通过利用重参数化技巧、蒙特卡洛估计和随机优化，VR实现了在各类模型（包括变分自编码器和贝叶斯神经网络）中的灵活且可扩展的推断。

ABSTRACT

We introduce the variational R\'enyi bound (VR) that extends traditional variational inference to R\'enyi's alpha-divergences. This new family of variational lower-bounds unifies a number of existing variational methods, and enables a smooth interpolation from the evidence lower-bound to the log (marginal) likelihood that is controlled by the value of alpha. The reparameterization trick, Monte Carlo estimation and stochastic optimisation methods are deployed to obtain a unified implementation for the VR bound optimisation. We further consider negative alpha values and propose a novel variational inference method as a new special case in the proposed framework. Experiments on variational auto-encoders and Bayesian neural networks demonstrate the wide applicability of the VR bound.

研究动机与目标

• 将现有变分推断方法统一到基于Rényi α-散度的单一框架下。
• 通过调节α参数，实现在ELBO与边缘似然对数之间的平滑插值。
• 将变分推断扩展至负α值，引入一种新型推断方法。
• 利用重参数化技巧和随机优化，提供一种可扩展且统一的实现方式。
• 在生成模型和贝叶斯神经网络中展示VR界广泛适用性。

提出的方法

• 提出变分Rényi界（VR）作为ELBO的推广，基于Rényi的α-散度。
• 推导出依赖于α参数的边缘对数似然下界，实现从ELBO（α → 1）到似然对数（α → 0）的插值。
• 采用重参数化技巧，实现对VR界的梯度优化。
• 使用蒙特卡洛估计近似VR界中的期望，以支持随机优化。
• 将框架扩展至负α值，引入一种新型变分推断方法。
• 应用随机优化技术，通过小批量数据高效训练模型。

实验结果

研究问题

• RQ1 如何通过更广泛的散度类，将变分推断从ELBO推广？
• RQ2 Rényi的α-散度能否在ELBO与边缘似然对数之间实现平滑插值？
• RQ3 将变分推断扩展至负α值会产生何种影响？
• RQ4 VR界在不同深度生成模型中的实际表现如何？
• RQ5 VR框架能否利用重参数化技巧和随机优化等标准深度学习工具实现高效实现？

主要发现

• VR界提供了一个统一框架，通过α参数推广了现有变分推断方法。
• 通过调节α参数，框架可实现从ELBO到边缘似然对数的平滑插值，提升了模型训练的灵活性。
• 将框架扩展至负α值，产生了一种此前标准框架未涵盖的新型变分推断方法。
• VR界可通过重参数化技巧、蒙特卡洛采样和随机优化高效优化，支持可扩展训练。
• 在变分自编码器和贝叶斯神经网络上的实验验证了VR界的广泛适用性和有效性。
• 该方法在保持计算效率的同时，提升了近似后验分布的灵活性。