[论文解读] Semi-Implicit Variational Inference

Mingzhang Yin, Mingyuan Zhou|arXiv (Cornell University)|May 28, 2018

Gaussian Processes and Bayesian Inference参考文献 47被引用 27

一句话总结

半隐式变分推断（SIVI）提出了一种灵活的变分推断框架，结合了解析的变分分布与可重参数化的隐式混合分布，能够在不依赖解析密度函数的情况下实现高度表达的后验近似。该方法推导出一个渐近精确的代理ELBO，适用于随机梯度优化，在各类贝叶斯推断任务中实现了与MCMC相当的后验估计精度。

ABSTRACT

Semi-implicit variational inference (SIVI) is introduced to expand the commonly used analytic variational distribution family, by mixing the variational parameter with a flexible distribution. This mixing distribution can assume any density function, explicit or not, as long as independent random samples can be generated via reparameterization. Not only does SIVI expand the variational family to incorporate highly flexible variational distributions, including implicit ones that have no analytic density functions, but also sandwiches the evidence lower bound (ELBO) between a lower bound and an upper bound, and further derives an asymptotically exact surrogate ELBO that is amenable to optimization via stochastic gradient ascent. With a substantially expanded variational family and a novel optimization algorithm, SIVI is shown to closely match the accuracy of MCMC in inferring the posterior in a variety of Bayesian inference tasks.

研究动机与目标

• 为解决均值场变分推断因变分族表达能力受限而导致后验方差被低估的局限性。
• 在不依赖密度比估计的前提下，实现隐式、非解析密度分布在变分推断中的应用。
• 通过夹逼ELBO并推导代理目标函数，为复杂变分族开发可处理的优化过程。
• 弥合变分推断与MCMC在后验不确定性量化方面的精度差距。
• 将变分推断的应用范围扩展至具有复杂、多模态或偏态后验分布的模型。

提出的方法

• 提出一种半隐式层次化结构，将变分参数ψ视为从灵活且可重参数化的混合分布q(ψ)中抽取的随机变量。
• 采用具有解析PDF的基底变分分布q(z|ψ)，同时允许混合分布q(ψ)为隐式分布，只要其支持独立的重参数化采样即可。
• 推导出具有下界和上界的夹逼ELBO，通过从层次化模型中采样实现证据下界（ELBO）的蒙特卡洛估计。
• 提出一个渐近精确的代理ELBO，适用于随机梯度上升，避免了对密度比估计的依赖。
• 通过添加多个随机层，将该框架应用于均值场VI和VAEs，其中第一层为解析层，后续层为隐式层。
• 使用神经网络参数化层次化编码器中的条件分布，实现灵活的、可摊销的推断。

实验结果

研究问题

• RQ1 半隐式层次化结构是否能在保持可优化性的同时实现高度表达的变分近似？
• RQ2 在半隐式结构下，是否能通过蒙特卡洛采样足够准确地夹逼并近似ELBO？
• RQ3 SIVI是否能在不依赖共轭性或显式密度函数的前提下，实现与MCMC相当的后验精度？
• RQ4 SIVI是否能改善具有复杂、多模态或偏态后验分布模型的后验不确定性量化？
• RQ5 在真实世界的贝叶斯推断任务中，SIVI相较于标准VI和MCMC的表现如何？

主要发现

• 在贝叶斯逻辑回归中，SIVI实现了与MCMC相当的后验精度，且在不确定性量化方面优于标准VI和变分提升方法。
• 在半隐式VAE（SIVAE）中，模型在二值化MNIST数据集上通过重要性重加权实现了83.25的负对数证据，优于使用单随机层编码器的标准VAE。
• SIVI中的代理ELBO是渐近精确的，可通过随机梯度上升实现可靠优化，且无需密度比估计。
• SIVI通过使边际分布条件独立但边缘依赖，成功捕捉了均值场VI中的后验依赖关系。
• 该方法可通过推断的随机变分网络实现快速、i.i.d.的后验采样，支持后验样本的即时生成。
• SIVI通过结合类似归一化流的结构与隐式分布，在无需显式密度评估的前提下，在VAEs中实现了最先进性能。