[论文解读] On variance estimation for Bayesian variable selection

Gemma E. Moran, Veronika Ročková+1 more|arXiv (Cornell University)|Jan 9, 2018

Statistical Methods and Inference参考文献 20被引用 4

一句话总结

本文主张，在高维高斯线性模型中，共轭连续收缩先验在贝叶斯变量选择中会严重偏差误差方差估计。通过在回归系数和误差方差上采用独立先验，作者将Spike-and-Slab Lasso扩展至未知方差情形，模拟结果表明其性能优于惩罚似然方法和固定方差的贝叶斯方法。

ABSTRACT

Consider the problem of high dimensional variable selection for the Gaussian linear model when the unknown error variance is also of interest. In this paper, we argue that the use conjugate continuous shrinkage priors for Bayesian variable selection can have detrimental consequences for such error variance estimation. Instead, we recommend the use of priors which treat the regression coefficients and error variance as independent a priori. We revisit the canonical reference for invariant priors, Jeffreys (1961), and highlight a caveat with their use that Jeffreys himself noted. For the case study of Bayesian ridge regression, we demonstrate that these scale-invariant priors severely underestimate the variance. More generally, we discuss how these priors also interfere with the mechanics of the Bayesian global-local shrinkage framework. With these insights, we extend the Spike-and-Slab Lasso of Rockova and George (2016) to the unknown variance case, using an independent prior for the error variance. Our procedure outperforms both alternative penalized likelihood methods and the fixed variance case on simulated data.

研究动机与目标

• 研究共轭连续收缩先验对高维贝叶斯变量选择中误差方差估计的影响。
• 识别在回归模型中对误差方差使用尺度不变先验（如Jeffreys先验）时存在的缺陷。
• 解决这些先验对贝叶斯变量选择中全局-局部收缩框架的干扰。
• 开发一种稳健的贝叶斯变量选择方法，将回归系数与误差方差视为先验独立。
• 将Spike-and-Slab Lasso扩展至未知方差情形，并与现有方法进行性能比较。

提出的方法

• 重新审视Jeffreys（1961）的不变先验，并指出Jeffreys本人曾指出其在方差估计中使用时的注意事项。
• 提出对回归系数和误差方差采用独立先验，以避免对方差估计产生不利影响。
• 通过解除系数与方差之间先验依赖关系，将Spike-and-Slab Lasso框架适配至未知误差方差情形。
• 采用层次贝叶斯模型，将误差方差分配独立于系数先验的逆伽玛分布或弱信息先验。
• 使用MCMC或变分推断在新的独立先验结构下进行后验计算。
• 通过模拟研究验证方法，比较其在估计精度和变量选择性能方面相对于固定方差方法与惩罚似然方法的表现。

实验结果

研究问题

• RQ1 共轭连续收缩先验如何影响高维贝叶斯线性模型中误差方差的估计？
• RQ2 在回归模型中对误差方差使用如Jeffreys先验等尺度不变先验会产生何种后果？
• RQ3 标准先验中系数与误差方差之间的依赖关系在多大程度上扭曲了后验推断？
• RQ4 Spike-and-Slab Lasso能否在保持其理论与实证优势的前提下，有效扩展至未知误差方差模型？
• RQ5 所提出的独立先验方法相较于惩罚似然方法与固定方差贝叶斯模型，其性能如何？

主要发现

• 共轭连续收缩先验在高维设置下会导致误差方差的严重低估。
• 尽管具有不变性特性，尺度不变先验（如Jeffreys先验）在模拟研究中系统性地低估了真实误差方差。
• 回归系数与误差方差之间的独立性假设可提高后验估计精度并减少偏差。
• 采用独立误差方差先验的扩展Spike-and-Slab Lasso在模拟实验中优于固定方差贝叶斯方法与惩罚似然方法。
• 所提出的方法在保持强大变量选择性能的同时，提供了更可靠的方差估计，尤其在高维情形下表现更优。