[论文解读] Variational Rejection Sampling

Aditya Grover, Ramki Gummadi+3 more|arXiv (Cornell University)|Apr 5, 2018

Gaussian Processes and Bayesian Inference参考文献 30被引用 3

一句话总结

本文提出变分拒绝采样（VRS），通过应用可微的接受-拒绝测试，从变分后验中过滤低似然度样本，从而改进潜在变量模型中的变分推断。通过以计算换取统计精度，VRS在使用Sigmoid信念网络的二值化MNIST数据集上，相较于单样本基线方法将测试负对数似然降低了3.71纳特，相较于多样本方法降低了0.21纳特，实现了当前最优性能。

ABSTRACT

Learning latent variable models with stochastic variational inference is challenging when the approximate posterior is far from the true posterior, due to high variance in the gradient estimates. We propose a novel rejection sampling step that discards samples from the variational posterior which are assigned low likelihoods by the model. Our approach provides an arbitrarily accurate approximation of the true posterior at the expense of extra computation. Using a new gradient estimator for the resulting unnormalized proposal distribution, we achieve average improvements of 3.71 nats and 0.21 nats over state-of-the-art single-sample and multi-sample alternatives respectively for estimating marginal log-likelihoods using sigmoid belief networks on the MNIST dataset.

研究动机与目标

• 解决当变分后验无法良好近似真实后验时，随机变分推断中梯度估计方差过高的问题。
• 开发一种方法，在无需显式重参数化或复杂模型修改的前提下，改善后验近似。
• 在后验近似中实现计算成本与统计精度之间的灵活权衡。
• 即使在重采样提议分布未归一化的情况下，也能推导出模型参数的无偏梯度估计器。
• 在基准生成建模任务上，实证验证其性能优于现有单样本和多样本变分推断方法。

提出的方法

• 引入两步采样流程：首先从变分后验中采样，然后基于模型似然应用可微的接受-拒绝测试。
• 使用阈值参数γ控制拒绝率，实现从标准变分推断（γ → 1）到精确后验采样（γ → 0）的极限插值。
• 仅利用重采样提议分布的未归一化密度估计，推导出模型参数的无偏梯度估计器，避免显式归一化。
• 采用重采样提议分布Rθ,φ，隐式地对原始变分后验进行修改，以更好地近似真实后验。
• 应用重要性采样和基于重采样的估计器（IS与RS）来评估下界，其中RS表现出更优性能。
• 支持对证据下界（ELBO）的重要性采样和基于重采样的评估，后者使用分区函数的蒙特卡洛估计。

实验结果

研究问题

• RQ1 可微的拒绝机制是否能提升潜在变量模型中变分后验近似的质量？
• RQ2 所提出的方法是否在边际对数似然估计上优于现有的单样本与多样本变分推断方法？
• RQ3 该方法能否在后验近似中提供计算成本与统计精度之间的平滑权衡？
• RQ4 当提议分布因拒绝采样而未归一时，是否仍可推导出模型参数的无偏梯度估计器？
• RQ5 在二值化MNIST等标准基准上，VRS的性能是否优于NVIL、REBAR和VIMCO等最先进方法？

主要发现

• 在二值化MNIST上，VRS相较于最先进单样本方法，平均将测试负对数似然降低了3.71纳特。
• 即使采样数量少于k=50的基线，VRS在测试对数似然上仍平均优于多样本基线0.21纳特。
• 重采样（RS）估计器始终优于重要性采样（IS）估计器，表明重采样步骤显著提升了后验近似质量。
• 降低阈值参数γ（例如从0.95降至0.9）可提升性能，但伴随计算成本增加，证实了精度与成本之间的可控权衡。
• 当γ=0.95和γ=0.9时，VRS的性能优于k=50的多样本方法，表明更少但质量更高的样本可超越大量低质量样本。
• 在二值化MNIST的Sigmoid信念网络上，该方法实现了最先进性能，优于包括REBAR、Concrete和VIMCO在内的已发表基线方法。