[论文解读] The variational Laplace approach to approximate Bayesian inference

Jean Daunizeau|arXiv (Cornell University)|Mar 2, 2017

Bayesian Methods and Mixture Models参考文献 6被引用 16

一句话总结

本文提出变分拉普拉斯（VL）方法，作为一种在具有连续和分类数据的非线性模型中进行近似贝叶斯推断的计算高效方法。通过使用对模型参数后验分布的高斯近似，VL 实现了快速的参数估计和模型选择，并对收敛性进行了理论分析，同时将方法扩展至包含超参数的层次化模型。

ABSTRACT

Variational approaches to approximate Bayesian inference provide very efficient means of performing parameter estimation and model selection. Among these, so-called variational-Laplace or VL schemes rely on Gaussian approximations to posterior densities on model parameters. In this note, we review the main variants of VL approaches, that follow from considering nonlinear models of continuous and/or categorical data. En passant, we also derive a few novel theoretical results that complete the portfolio of existing analyses of variational Bayesian approaches, including investigations of their asymptotic convergence. We also suggest practical ways of extending existing VL approaches to hierarchical generative models that include (e.g., precision) hyperparameters.

研究动机与目标

• 提供对变分-拉普拉斯（VL）方法在近似贝叶斯推断中应用的全面综述。
• 分析 VL 方法的理论性质，包括渐近收敛性。
• 将现有 VL 框架扩展至包含精度超参数的层次化生成模型。
• 为在涉及连续和分类数据的复杂建模场景中实现 VL 提供实用指南。
• 通过新的分析结果，完善变分贝叶斯方法的理论体系。

提出的方法

• 该方法采用对模型参数后验分布的高斯近似，利用拉普拉斯近似计算其均值和协方差。
• 通过自由能最小化来形式化变分推断，优化目标是高斯近似分布的参数以逼近真实后验。
• 该方法被应用于包含连续和分类数据的非线性模型，采用适当的似然函数和链接函数。
• 对于层次化模型，通过将超参数（如精度参数）视为变分近似中的潜变量，将方法扩展至包含超参数。
• 理论分析包括在正则条件下收敛性性质，推导基于拉普拉斯近似和变分微积分。
• 通过自由能及其梯度的解析解，支持高效计算。

实验结果

研究问题

• RQ1 如何系统地将变分拉普拉斯方法应用于具有混合连续和分类数据的非线性模型？
• RQ2 在大样本极限下，变分拉普拉斯近似的理论收敛性质是什么？
• RQ3 如何将精度等超参数整合进变分推断框架中？
• RQ4 可以推导出哪些新颖的理论洞见，以完善现有变分贝叶斯方法的分析？
• RQ5 为将 VL 应用于层次化生成模型，需要哪些实用扩展？

主要发现

• 变分拉普拉斯方法为非线性模型中的贝叶斯推断提供了一种快速且可扩展的替代 MCMC 的方法。
• 在正则条件下，该方法具有渐近一致性，且在大样本极限下收敛于真实后验分布。
• 理论分析证实，变分自由能为边缘似然提供下界，从而支持模型比较。
• 通过在变分分布中包含超参数，可实现对层次化模型的可行扩展，支持参数与超参数的联合估计。
• 该框架通过解析梯度支持高效优化，相比基于采样的方法显著降低了计算成本。
• 本文推导出新的理论结果，补充了现有文献中关于拉普拉斯近似在复杂模型中行为的研究。