[论文解读] $α$-Variational Inference with Statistical Guarantees

Yun Yang, Debdeep Pati+1 more|arXiv (Cornell University)|Oct 9, 2017

Gaussian Processes and Bayesian Inference参考文献 50被引用 7

一句话总结

本文提出了 α-变分贝叶斯（α-VB），一种新型的贝叶斯后验变分近似家族，具有可证明的统计保证。通过引入温度参数 α ∈ (0,1]，该方法建立了将证据下界与贝叶斯风险联系起来的变分不等式，确保 α-VB 的点估计在包括高维线性回归、高斯混合模型和主题模型在内的多种模型中，以最优的频派收敛速率收敛于真实参数。

ABSTRACT

We propose a family of variational approximations to Bayesian posterior distributions, called $α$-VB, with provable statistical guarantees. The standard variational approximation is a special case of $α$-VB with $α=1$. When $α\in(0,1]$, a novel class of variational inequalities are developed for linking the Bayes risk under the variational approximation to the objective function in the variational optimization problem, implying that maximizing the evidence lower bound in variational inference has the effect of minimizing the Bayes risk within the variational density family. Operating in a frequentist setup, the variational inequalities imply that point estimates constructed from the $α$-VB procedure converge at an optimal rate to the true parameter in a wide range of problems. We illustrate our general theory with a number of examples, including the mean-field variational approximation to (low)-high-dimensional Bayesian linear regression with spike and slab priors, mixture of Gaussian models, latent Dirichlet allocation, and (mixture of) Gaussian variational approximation in regular parametric models.

研究动机与目标

• 开发一个统一的变分推断框架，具备频派统计保证，以解决标准变分贝叶斯方法缺乏理论基础的问题。
• 将标准变分推断（α=1）扩展为一个更广泛的 α-VB 家族，其中可调参数 α ∈ (0,1] 控制模型拟合与先验正则化之间的权衡。
• 建立将证据下界与贝叶斯风险联系起来的变分不等式，确保最大化 ELBO 可最小化变分族内的贝叶斯风险。
• 证明 α-VB 的点估计在高维和非参数模型中，能达到与真实后验推导出的估计相同的最优收敛速率。
• 在关键模型（如带脊槽先验的贝叶斯线性回归、混合模型和潜在狄利克雷分配）上验证理论结果。

提出的方法

• 将 α-VB 提出为标准变分推断的推广，其中变分目标函数引入了 Rényi 散度参数 α ∈ (0,1]，当 α=1 时可恢复标准 VB 方法。
• 提出新颖的变分不等式，以 α-VB 目标函数为基准，界定了变分近似在 α ∈ (0,1] 时的贝叶斯风险。
• 以 Rényi 散度和证据下界（ELBO）为核心组件，ELBO 作为优化目标以最小化贝叶斯风险。
• 通过可测试性假设（T）和先验集中假设（P）验证变分风险界成立的条件。
• 在示例中应用似然比检验和筛法构造来验证假设 T，尤其适用于参数空间紧凑或具有结构的模型。
• 通过将变分解与频派后验集中性联系起来，利用覆盖数和度量熵，在紧凑参数空间中推导 α-VB 点估计的收敛速率。

实验结果

研究问题

• RQ1 变分推断能否超越标准 VB 方法，获得频派统计保证（如最优收敛速率）？
• RQ2 引入温度参数 α ∈ (0,1] 后，与 α=1 相比，其统计特性如何改善？
• RQ3 在 α-VB 框架中，可推导出何种变分不等式，以将证据下界与贝叶斯风险联系起来？
• RQ4 在何种条件下，α-VB 方法能确保点估计以与真实后验估计相同的速率收敛？
• RQ5 该理论框架如何应用于并验证于高维和潜变量模型（如带脊槽先验的贝叶斯线性回归和潜在狄利克雷分配）？

主要发现

• 对于 α ∈ (0,1]，α-VB 方法确保最大化证据下界可最小化变分族内的贝叶斯风险，为 ELBO 优化提供了直接的统计依据。
• 从 α-VB 导出的点估计在包括高维贝叶斯线性回归在内的多种模型中，以与真实后验估计相同的最优速率收敛于真实参数。
• 在低维贝叶斯线性回归的均场近似中，收敛速率为 ε_n² = d log n / n，假设 T 通过似然比检验和适当的筛法得到验证。
• 在具有稀疏先验的高维贝叶斯线性回归中，收敛速率为 ε_n² = s log(nd) / n，且在尊重协变量索引集 z 的稀疏性约束的筛法下，假设 T 成立。
• 在参数空间紧凑的模型中（如高斯混合模型和潜在狄利克雷分配），假设 T 在全参数空间作为筛法、平方 Hellinger 距离作为损失函数时成立。
• 当不存在潜变量时，该理论框架可恢复先前关于温度后验的已知风险界，验证了 α-VB 方法的通用性与一致性。