[论文解读] On posterior propriety for the Student-$t$ linear regression model under Jeffreys priors

Catalina A. Vallejos, Mark F. J. Steel|arXiv (Cornell University)|Nov 6, 2013

Statistical Methods and Bayesian Inference参考文献 8被引用 3

一句话总结

本文纠正了先前关于在杰弗莱斯先验下对学生t分布线性回归进行贝叶斯推断的严重错误。研究表明，标准的杰弗莱斯规则先验会导致后验分布不 proper，从而使贝叶斯推断无效；而独立性杰弗莱斯先验可确保后验的 proper 性，因此推荐用于实际应用。

ABSTRACT

Regression models with fat-tailed error terms are an increasingly popular choice to obtain more robust inference to the presence of outlying observations. This article focuses on Bayesian inference for the Student-$t$ linear regression model under objective priors that are based on the Jeffreys rule. Posterior propriety results presented in Fonseca et al. (2008) are revisited and corrected. In particular, it is shown that the standard Jeffreys-rule prior precludes the existence of a proper posterior distribution.

研究动机与目标

• 重新审视在杰弗莱斯先验下贝叶斯学生t分布线性回归中的后验 proper 性。
• 识别并纠正先前关于杰弗莱斯规则先验下后验存在性的错误主张。
• 澄清哪些客观先验能为自由度参数 $\nu$ 产生 proper 后验。
• 基于先验对 $\nu$ 的依赖关系，推导出后验 proper 性的严格条件。
• 为具有重尾误差的稳健回归提供有效客观先验的指导。

提出的方法

• 推导学生t分布线性回归模型（参数为 $\beta$、$\sigma^2$ 和 $\nu$）的费舍尔信息矩阵。
• 使用杰弗莱斯规则构造两种客观先验：标准杰弗莱斯规则先验和独立性杰弗莱斯先验。
• 应用富比尼定理和边缘化技术，对 $\beta$ 和 $\sigma^2$ 进行积分，集中关注后验对 $\nu$ 的依赖性。
• 利用顺序统计量和伽马型积分的界，推导出后验 proper 性的必要条件。
• 应用 Fernández 和 Steel（1999）的结果，确认在独立性杰弗莱斯先验下后验的 proper 性。
• 推导出后验 proper 性的必要条件：$\nu > \frac{2a - 2}{n - p}$，其中 $a$ 是先验中 $\sigma^2$ 分量的指数。

实验结果

研究问题

• RQ1 标准杰弗莱斯规则先验在学生t分布线性回归模型中是否产生 proper 后验分布？
• RQ2 在此模型中，杰弗莱斯先验下后验 proper 性的必要条件是什么？
• RQ3 为何先前的研究（包括 Fonseca 等，2008 年）错误地声称在杰弗莱斯规则先验下后验是 proper 的？
• RQ4 独立性杰弗莱斯先验是否可在此模型中可靠地用于贝叶斯推断？
• RQ5 杰弗莱斯规则先验的不 proper 性与小样本中观察到的 95% 可信区间频繁覆盖性能差之间有何关联？

主要发现

• 学生t分布线性回归模型的标准杰弗莱斯规则先验会导致后验分布不 proper，从而使贝叶斯推断无效。
• 后验 proper 性的必要条件为 $\nu > \frac{2a - 2}{n - p}$，当 $a > 1$ 且 $\nu$ 允许取值于 $ (0, \infty) $ 时，该条件被违反。
• 对于杰弗莱斯规则先验，$a = 1 + p/2 > 1$，因此后验不 proper，与 Fonseca 等（2008）的结论相矛盾。
• 独立性杰弗莱斯先验中 $a = 1$，满足必要条件，可确保后验 proper。
• 在 $n > p$ 时，独立性杰弗莱斯先验下的后验 proper 性由 Fernández 和 Steel（1999）的定理 1 确认。
• 杰弗莱斯规则先验的不 proper 性可能解释了先前研究中观察到的小样本下 $\nu$ 的 95% 可信区间频繁覆盖性能差的现象。