[论文解读] Validated Variational Inference via Practical Posterior Error Bounds

Jonathan H. Huggins, Mikołaj J. Kasprzak+2 more|arXiv (Cornell University)|Oct 9, 2019

Gaussian Processes and Bayesian Inference参考文献 53被引用 9

一句话总结

本文提出了计算高效、理论严谨的后验均值与不确定性估计误差界，适用于变分推断。通过利用ELBO、CUBO和多项式矩，该方法提供了严格且自动化的误差界，可直接评估近似质量——克服了传统基于散度的度量指标的局限性，即使散度值较小，这些指标也可能具有误导性。

ABSTRACT

Variational inference has become an increasingly attractive fast alternative to Markov chain Monte Carlo methods for approximate Bayesian inference. However, a major obstacle to the widespread use of variational methods is the lack of post-hoc accuracy measures that are both theoretically justified and computationally efficient. In this paper, we provide rigorous bounds on the error of posterior mean and uncertainty estimates that arise from full-distribution approximations, as in variational inference. Our bounds are widely applicable, as they require only that the approximating and exact posteriors have polynomial moments. Our bounds are also computationally efficient for variational inference because they require only standard values from variational objectives, straightforward analytic calculations, and simple Monte Carlo estimates. We show that our analysis naturally leads to a new and improved workflow for validated variational inference. Finally, we demonstrate the utility of our proposed workflow and error bounds on a robust regression problem and on a real-data example with a widely used multilevel hierarchical model.

研究动机与目标

• 解决变分推断中缺乏可靠、事后计算的准确度度量的问题，这些度量需兼具理论依据和计算效率。
• 克服现有方法依赖KL散度或α-散度等散度度量的局限性，这些度量即使值较小，也可能对应后验均值和方差估计的严重不准确。
• 开发直接量化关键后验输出（即后验均值与不确定性）误差的误差界，而非仅衡量分布间散度。
• 实现在真实世界贝叶斯建模工作流中，对变分推断结果进行自动化、实用化的验证。
• 提出一种集成误差界到标准推断流程中的新型可验证变分推断工作流。

提出的方法

• 利用α-散度和矩条件，推导真实后验与变分后验之间Wasserstein距离的误差界。
• 通过多项式矩假设，建立对尺度敏感的Wasserstein距离与尺度无关的α-散度之间的联系。
• 将α-散度（如KL散度、α-散度）的误差界表达为标准变分推断目标（ELBO和CUBO）的形式。
• 通过蒙特卡洛估计与解析计算，高效计算误差界，无需使用MCMC。
• 将所有组件整合为一个实用的端到端工作流，可在变分推断过程中或之后计算误差界。
• 将该框架应用于真实世界模型，包括稳健回归和多层次层次化模型，以验证其有效性。

实验结果

研究问题

• RQ1 我们能否为变分推断中后验均值与方差估计的误差，提供理论严谨、计算高效的误差界？
• RQ2 标准变分推断目标（如ELBO和CUBO）与后验估计的实际误差之间有何关系，而非仅衡量分布间散度？
• RQ3 我们能否仅利用变分推断的标准输出和矩条件，对后验均值与不确定性的误差进行界定？
• RQ4 尾部行为（如多项式矩与指数矩）对所导误差界的紧致性有何影响？
• RQ5 所提出的误差界能否用于构建一种实用的、自动化的变分推断结果验证工作流，适用于实际的贝叶斯建模？

主要发现

• 所提出的误差界是首个提供理论严谨性、自动化处理和计算高效性的后验均值与不确定性估计误差估计方法，适用于变分推断。
• 这些误差界基于标准变分推断输出（ELBO、CUBO和多项式矩）推导得出，使其在真实世界应用中具有实用性。
• 即使KL散度值很小，后验均值与方差估计仍可能极度不准确，这凸显了直接使用误差界而非散度度量的必要性。
• 当存在指数矩时，该方法能获得更紧致的误差界，表明在更强尾部假设下性能更优。
• 在稳健回归问题和多层次层次化模型上的实证验证，证实了误差界在检测不良近似方面的实际效用。
• 发布了一个公开的Python工具包（viabel），支持端到端实现所提出的工作流，兼容黑箱变分推断与误差界计算。