[论文解读] Statistical Inference in Mean-Field Variational Bayes

Wei Han, Yun Yang|arXiv (Cornell University)|Nov 4, 2019

Bayesian Methods and Mixture Models参考文献 45被引用 8

一句话总结

本文为具有潜变量的正则参数模型中的平均场变分贝叶斯提供了非渐近理论保证，表明平均场近似中心收敛于最大似然估计（MLE），其误差项为高阶项。本文提出了一种新颖的变分加权似然自助法（VWLB），用于不确定性量化，该方法支持并行计算且无需调参，可实现后验近似的独立抽样。

ABSTRACT

We conduct non-asymptotic analysis on the mean-field variational inference for approximating posterior distributions in complex Bayesian models that may involve latent variables. We show that the mean-field approximation to the posterior can be well-approximated relative to the Kullback-Leibler divergence discrepancy measure by a normal distribution whose center is the maximum likelihood estimator (MLE). In particular, our results imply that the center of the mean-field approximation matches the MLE up to higher-order terms and there is essentially no loss of efficiency in using it as a point estimator for the parameter in any regular parametric model with latent variables. We also propose a new class of variational weighted likelihood bootstrap (VWLB) methods for quantifying the uncertainty in the mean-field variational inference. The proposed VWLB can be viewed as a new sampling scheme that produces independent samples for approximating the posterior. Comparing with traditional sampling algorithms such Markov Chain Monte Carlo, VWLB can be implemented in parallel and is free of tuning.

研究动机与目标

• 为具有潜变量的模型中的平均场变分贝叶斯提供非渐近理论依据。
• 研究平均场近似作为点估计量相对于MLE的统计效率。
• 开发一种新的不确定性量化方法，用于变分推断，避免依赖MCMC并支持并行计算。
• 建立平均场近似与以MLE为中心的正态目标之间Kullback-Leibler散度的理论界。

提出的方法

• 推导了平均场近似 $ Q_{\theta} $ 与以MLE为中心的正态分布之间KL散度的非渐近界。
• 通过将费舍尔信息矩阵分解为可观测与缺失部分（$ I_c(\theta^*) = I(\theta^*) + I_s(\theta^*) $）来分析偏差。
• 对变分目标函数在MLE处进行二阶泰勒展开，证明平均场中心与MLE之间的差距为 $ O(\alpha_n) $ 阶误差。
• 提出变分加权似然自助法（VWLB），一种新型抽样方案，可在无需调参的情况下从变分后验中生成独立样本。
• 证明VWLB样本在渐近意义上对后验近似有效，且可并行生成。
• 结合KL散度恒等式与次高斯尾部假设，界定了平均场近似与真实变分后验之间的距离。

实验结果

研究问题

• RQ1 平均场近似在KL散度意义下对真实后验的逼近程度如何？
• RQ2 在具有潜变量的正则参数模型中，平均场近似的中心相对于MLE是否具有统计效率？
• RQ3 能否构建一种新抽样方法，以实现变分推断中不确定性量化的MCMC依赖？
• RQ4 当真实后验未完全可分解时，平均场近似的非渐近理论性质是什么？
• RQ5 在存在潜变量的情况下，变分目标如何与MLE及可观测费舍尔信息相关联？

主要发现

• 平均场近似中心 $ \mu_{\widehat{Q}_\theta} $ 以由 $ \alpha_n $ 控制的速率收敛于MLE $ \widehat{\theta}_{\text{MLE}} $，满足 $ n(\mu_{\widehat{Q}_\theta} - \widehat{\theta}_{\text{MLE}})^T I_s(\theta^*) (\mu_{\widehat{Q}_\theta} - \widehat{\theta}_{\text{MLE}}) \leq C\alpha_n $。
• 平均场近似 $ \widehat{Q}_\theta $ 与真实变分后验 $ Q^*_{VB} $ 之间的KL散度被界为 $ C'\alpha_n $，表明其具有高精度。
• 平均场近似可被以MLE为中心、协方差为 $ [nI(\theta^*)]^{-1} $ 的正态分布良好近似，仅含一个微小误差项。
• 变分加权似然自助法（VWLB）可生成无需调参的独立有效样本，支持并行计算。
• 平均场近似与以MLE为中心的正态目标之间的KL散度被界为 $ O(\alpha_n) $，证实MLE为良好中心。
• 该方法在无需MCMC或复杂调参的情况下实现了估计一致性与不确定性量化，适用于大规模模型。