[论文解读] Robust Bayesian variable selection with sub-harmonic priors

Yuzo Maruyama, William E. Strawderman|arXiv (Cornell University)|Sep 10, 2010

Statistical Methods and Inference参考文献 21被引用 8

一句话总结

本文提出子谐波先验作为线性模型中具有球对称误差分布的稳健贝叶斯变量选择方法。主要贡献在于，基于这些先验的贝叶斯因子对球对称误差分布的选择具有不变性，从而确保在重尾且对称的误差分布广泛类中模型选择的一致性与一致性。

ABSTRACT

This paper studies Bayesian variable selection in linear models with general spherically symmetric error distributions. We propose sub-harmonic priors which arise as a class of mixtures of Zellner's g-priors for which the Bayes factors are independent of the underlying error distribution, as long as it is in the spherically symmetric class. Because of this invariance to spherically symmetric error distribution, we refer to our method as a robust Bayesian variable selection method. We demonstrate that our Bayes factors have model selection consistency and are coherent. We also develop Laplace approximations to Bayes factors for a number of recently studied mixtures of g-priors that have recently appeared in the literature (including our own) for Gaussian errors. These approximations, in each case, are given by the Gaussian Bayes factor based on BIC times a simple rational function of the prior's hyper-parameters and the R^2's for the respective models. We also extend model selection consistency for several g-prior based Bayes factor methods for Gaussian errors to the entire class of spherically symmetric error distributions. Additionally we demonstrate that our class of sub-harmonic priors are the only ones within a large class of mixtures of g-priors studied in the literature which are robust in our sense. A simulation study and an analysis of two real data sets indicates good performance of our robust Bayes factors relative to BIC and to other mixture of g-prior based methods.

研究动机与目标

• 开发一种在一般球对称误差分布下保持稳健的贝叶斯变量选择方法，而不仅限于高斯误差。
• 解决现有方法假设误差为高斯分布而在此类更重尾或非正态分布下失去有效性的局限性。
• 确保在整个球对称误差分布类中模型选择的一致性与一致性。
• 识别出唯一一类混合g-先验，其产生的贝叶斯因子对分布具有不变性。
• 提供基于BIC并带有有理函数校正项的计算高效贝叶斯因子近似方法。

提出的方法

• 提出子谐波先验作为Zellner的g-先验的混合类，其产生的贝叶斯因子独立于球对称误差分布。
• 通过利用似然函数和先验结构的球对称性，推导出贝叶斯因子在球对称误差下的不变性。
• 在一般球对称误差下建立所提方法的模型选择一致性，扩展了以往仅限于高斯设定下的结果。
• 推导边缘似然的拉普拉斯近似，将贝叶斯因子表示为基于BIC的项乘以超参数和R²的有理函数。
• 利用样本量较大时残差平方和之比收敛于指数形式的事实，实现渐近合理性。
• 证明子谐波先验是在文献中研究的广泛类先验中，唯一具有此不变性性质的g-先验混合类。

实验结果

研究问题

• RQ1 能否使贝叶斯变量选择在线性模型中对误差分布偏离高斯假设具有鲁棒性？
• RQ2 哪些类别的g-先验混合能产生在球对称误差分布下不变的贝叶斯因子？
• RQ3 在高斯误差下成立的模型选择一致性是否可推广至更广泛的球对称误差类？
• RQ4 如何为非高斯误差模型推导出准确且计算高效的贝叶斯因子近似？
• RQ5 是否存在唯一先验结构，可确保在多样化误差分布下变量选择的鲁棒性？

主要发现

• 所提出的子谐波先验产生的贝叶斯因子对球对称误差分布的选择具有不变性，使该方法在广泛误差模型类中具有鲁棒性。
• 在一般球对称误差分布下，所提方法的模型选择一致性已建立，扩展了以往仅限于高斯误差的结果。
• 推导出贝叶斯因子的拉普拉斯近似，并证明其等于高斯BIC贝叶斯因子乘以先验超参数和模型R²的有理函数。
• 证明在一大类g-先验混合中，子谐波先验是唯一能确保球对称误差下贝叶斯因子不变性的类。
• 模拟研究和真实数据分析表明，该鲁棒贝叶斯因子在变量选择准确性方面优于BIC和其他基于g-先验的方法。
• 该方法在包含零模型时仍保持一致性和有效性，仅需对先验结构作轻微调整。