[论文解读] Nearly Optimal Variational Inference for High Dimensional Regression with Shrinkage Priors

Jincheng Bai, Qifan Song+1 more|arXiv (Cornell University)|Oct 24, 2020

Statistical Methods and Inference参考文献 31被引用 4

一句话总结

该论文提出了一种基于重尾收缩先验（如学生t分布）的变分贝叶斯（VB）方法，用于高维线性回归。通过坐标上升法最小化联合KL散度，该方法实现了近乎最优的后验收缩率，确保了理论有效性，同时在计算效率上显著优于MCMC，实证结果表明其计算速度更快、估计精度更高、变量选择误差更低。

ABSTRACT

We propose a variational Bayesian (VB) procedure for high-dimensional linear model inferences with heavy tail shrinkage priors, such as student-t prior. Theoretically, we establish the consistency of the proposed VB method and prove that under the proper choice of prior specifications, the contraction rate of the VB posterior is nearly optimal. It justifies the validity of VB inference as an alternative of Markov Chain Monte Carlo (MCMC) sampling. Meanwhile, comparing to conventional MCMC methods, the VB procedure achieves much higher computational efficiency, which greatly alleviates the computing burden for modern machine learning applications such as massive data analysis. Through numerical studies, we demonstrate that the proposed VB method leads to shorter computing time, higher estimation accuracy, and lower variable selection error than competitive sparse Bayesian methods.

研究动机与目标

• 开发一种计算高效的贝叶斯推断方法，用于具有诱导稀疏性的收缩先验的高维线性回归。
• 在适当的先验设定下，建立变分后验的理论一致性和近乎最优的收缩率。
• 提供一种可扩展的MCMC替代方法，理论性能相当但计算成本显著降低。
• 与现有稀疏贝叶斯方法相比，实证验证其在估计精度、变量选择和运行时间方面的优越性。

提出的方法

• 使用变分推断通过最小化变分后验与真实后验在系数β和潜变量精度参数λ上的联合KL散度，近似后验分布。
• 采用均值场变分族，其中近似后验q(β)为位置为μ、尺度为s、自由度为ν的多变量学生t分布。
• 通过负证据下界（ELBO）推导出μ、a_j、b_j和σ（当σ未知时）的闭式坐标上升更新。
• 在误差方差σ²已知或可估计的前提下，将该方法应用于高维回归，对β_j使用层次先验，并对精度参数施加逆伽玛超先验。
• 证明联合KL最小化（在β和λ上）作为理论上最优的仅在β上最小化边缘KL散度的计算可行近似。
• 在小样本示例中使用Adam优化器求解边缘KL最小化问题，与联合KL方法进行比较，结果表明性能差异极小。

实验结果

研究问题

• RQ1 使用收缩先验的变分推断是否能在高维回归中实现近乎最优的后验收缩率？
• RQ2 在高维设定下，所提出的VB方法的计算效率与基于MCMC的方法相比如何？
• RQ3 在(β, λ)上最小化联合KL散度是否能给出与理论上最优的仅在β上最小化边缘KL散度的近似？
• RQ4 VB方法是否能在显著降低运行时间的同时保持高估计精度和低变量选择误差？

主要发现

• 在适当的先验设定下，所提出的VB方法实现了近乎最优的后验收缩率，验证了其作为MCMC替代方法的理论有效性。
• 与MCMC相比，该方法显著降低了计算成本，使大规模数据应用的可扩展推断成为可能。
• 数值实验表明，与竞争性的稀疏贝叶斯方法相比，VB方法在计算时间更短、估计精度更高、变量选择误差更低。
• 小样本示例中比较联合KL与边缘KL最小化，结果表明后验均值估计的差异极小（非零系数的MSE ≈ 0.011，零系数的MSE ≈ 0.0006），验证了联合KL最小化的实际有效性。
• 在正则性条件下（包括X的列范数有界且模型维度增长但保持亚稀疏），VB后验具有一致性。