[论文解读] Variational Inference in high-dimensional linear regression

Sumit Mukherjee, Subhabrata Sen|arXiv (Cornell University)|Apr 25, 2021

Statistical Methods and Inference参考文献 59被引用 9

一句话总结

本文在高维线性回归中，针对乘积先验，建立了朴素均场变分贝叶斯（nVB）近似渐近正确的充分条件。利用非线性大偏差理论，推导出后验对数归一化常数的极限变分公式，并证明在‘分离’条件下，变分问题具有唯一最优解，该最优解决定了后验性质，从而确保了nVB在高维设置下的有效性。

ABSTRACT

We study high-dimensional Bayesian linear regression with product priors. Using the nascent theory of non-linear large deviations (Chatterjee and Dembo,2016), we derive sufficient conditions for the leading-order correctness of the naive mean-field approximation to the log-normalizing constant of the posterior distribution. Subsequently, assuming a true linear model for the observed data, we derive a limiting infinite dimensional variational formula for the log normalizing constant of the posterior. Furthermore, we establish that under an additional "separation" condition, the variational problem has a unique optimizer, and this optimizer governs the probabilistic properties of the posterior distribution. We provide intuitive sufficient conditions for the validity of this "separation" condition. Finally, we illustrate our results on concrete examples with specific design matrices.

研究动机与目标

• 理解在高维贝叶斯线性回归中，朴素均场变分贝叶斯（nVB）近似何时渐近准确。
• 推导确保nVB近似对后验对数归一化常数主导阶正确性的充分条件。
• 在真实线性模型下，建立后验对数归一化常数的极限无限维变分公式的理论框架。
• 识别出保证变分最优解唯一的‘分离’条件的直观充分条件。
• 通过具体设计矩阵的实例，说明理论结果，实证验证该框架的有效性。

提出的方法

• 应用非线性大偏差理论的新兴成果，分析高维线性回归中后验对数归一化常数的渐近行为。
• 在真实线性模型和乘积先验下，推导出对数归一化常数的极限无限维变分公式。
• 采用变分问题的表述方式，刻画后验的渐近行为，其中最优解决定后验的概率性质。
• 在‘分离’条件下证明最优解的唯一性，该条件可通过设计矩阵的直观充分条件进行验证。
• 利用Hessian矩阵分析及变分目标函数Hessian矩阵的特征值界，证明局部严格凹性与全局最优性。
• 利用GHS不等式和截断正态分布的性质，对矩生成函数的二阶导数进行上界估计，确保Hessian矩阵特征值的统一下界。

实验结果

研究问题

• RQ1 在具有乘积先验的高维线性回归中，朴素均场变分贝叶斯近似在何种条件下渐近正确？
• RQ2 在高维极限下，后验对数归一化常数的极限形式是什么？
• RQ3 在何种条件下，变分问题具有唯一最优解？该最优解如何决定后验的概率结构？
• RQ4 有哪些易于验证的充分条件，可确保变分解唯一性所需的‘分离’条件成立？
• RQ5 理论结果在具体设计矩阵上的表现如何？其结果提供了哪些超越标准方法的洞见？

主要发现

• 本文建立了在高维线性回归中，朴素均场变分贝叶斯近似对后验对数归一化常数渐近正确的充分条件。
• 在真实线性模型和乘积先验下，后验对数归一化常数收敛于通过非线性大偏差理论推导出的极限无限维变分公式。
• 当‘分离’条件成立时，变分问题具有唯一最优解，且该最优解完全刻画了后验分布的渐近概率行为。
• 变分目标函数Hessian矩阵特征值的统一下界确保了局部严格凹性与全局最优性，该下界通过GHS不等式和截断正态分布的性质推导得出。
• ‘分离’条件的充分条件直观且可验证，依赖于设计矩阵的最小特征值以及矩生成函数二阶导数的行为。
• 该理论框架在具体设计矩阵的实例中得到验证，结果表明nVB近似能提供其他方法难以获得的详细统计洞察。