[论文解读] Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence

Ghassen Jerfel, Serena L Wang+4 more|arXiv (Cornell University)|Jul 27, 2021

Machine Learning and Algorithms被引用 10

一句话总结

本文提出了一种新颖的变分精炼方法，通过最小化前向Kullback-Leibler散度来构建重尾于后验分布的提议分布，以改进重要性采样。该方法确保了渐近一致性，并在最优重要性采样估计和变分近似方面实现了更快的收敛速度，优于基于RKL的方法，在真实数据上的表现也与变分提升和MCMC方法具有竞争力。

ABSTRACT

Variational Inference (VI) is a popular alternative to asymptotically exact sampling in Bayesian inference. Its main workhorse is optimization over a reverse Kullback-Leibler divergence (RKL), which typically underestimates the tail of the posterior leading to miscalibration and potential degeneracy. Importance sampling (IS), on the other hand, is often used to fine-tune and de-bias the estimates of approximate Bayesian inference procedures. The quality of IS crucially depends on the choice of the proposal distribution. Ideally, the proposal distribution has heavier tails than the target, which is rarely achievable by minimizing the RKL. We thus propose a novel combination of optimization and sampling techniques for approximate Bayesian inference by constructing an IS proposal distribution through the minimization of a forward KL (FKL) divergence. This approach guarantees asymptotic consistency and a fast convergence towards both the optimal IS estimator and the optimal variational approximation. We empirically demonstrate on real data that our method is competitive with variational boosting and MCMC.

研究动机与目标

• 解决变分推断中反向KL散度的局限性，其会导致后验尾部被低估并引发校准偏差。
• 通过确保提议分布的尾部比目标后验更重，来提升重要性采样提议的质量。
• 构建一个统一框架，通过前向KL最小化将变分推断与重要性采样相结合。
• 在重要性采样估计和变分近似两方面实现渐近一致性和更快的收敛速度。
• 为基于RKL的变分推断和MCMC提供一种在真实世界数据上具有竞争力的实用替代方案。

提出的方法

• 制定一种变分精炼过程，通过最小化提议分布与真实后验之间的前向Kullback-Leibler散度。
• 通过前向KL最小化构建重要性采样提议分布，该方法自然地促使提议分布的尾部比目标分布更重。
• 利用前向KL优化的性质，确保所得重要性采样估计器的渐近一致性。
• 将基于前向KL的提议分布整合到两阶段推断流程中：先进行变分近似，再进行重要性采样精炼。
• 利用前向KL目标，联合优化提议分布，以实现更准确的后验近似和更稳健的重要性采样估计。
• 证明最小化前向KL可加速收敛至最优重要性采样估计器和最优变分近似。

实验结果

研究问题

• RQ1 最小化前向Kullback-Leibler散度是否能产生尾部比后验更重的提议分布，从而提升重要性采样性能？
• RQ2 在变分推断中最小化前向KL是否能产生渐近一致的重要性采样估计器？
• RQ3 与基于反向KL的变分推断和MCMC相比，所提方法在收敛速度和准确性方面表现如何？
• RQ4 基于前向KL的精炼方法是否能在实际贝叶斯推断任务中超越现有方法（如变分提升）？
• RQ5 结合前向KL最小化与重要性采样是否能在真实世界数据上获得更校准的后验估计？

主要发现

• 最小化前向Kullback-Leibler散度可产生尾部比后验更重的提议分布，有效解决了基于反向KL方法的关键局限性。
• 所提方法确保了重要性采样估计器的渐近一致性，而这一性质在基于反向KL的方法中常被忽略。
• 与标准RKL最小化相比，该方法在收敛至最优重要性采样估计器和最优变分近似方面均表现出更快的收敛速度。
• 在真实数据上的实证结果表明，该方法在估计准确性和校准性方面与变分提升和MCMC方法具有可比性。
• 基于前向KL的提议构建方法在分布尾部表现出更稳健和可靠的后验推断能力。
• 该方法通过结合变分推断与重要性采样的优势，有效减轻了近似贝叶斯推断的偏差。