[论文解读] Regularization in regression: comparing Bayesian and frequentist methods in a poorly informative situation

Gilles Celeux, Mohammed El Anbari+2 more|arXiv (Cornell University)|Oct 2, 2010

Statistical Methods and Inference参考文献 36被引用 53

一句话总结

本文在 n 略大于 p 且使用非信息先验的高维线性回归设置下，比较了贝叶斯与频率学派的正则化方法。提出两种无需校准的分层 Zellner g-先验——NIMS 和 HG-2，消除了对 g 参数调优的需求，并通过模拟实验和真实数据表明，贝叶斯方法在预测误差和变量选择的简洁性方面优于 Lasso 和弹性网络等频率学派方法。

ABSTRACT

Using a collection of simulated an real benchmarks, we compare Bayesian and frequentist regularization approaches under a low informative constraint when the number of variables is almost equal to the number of observations on simulated and real datasets. This comparison includes new global noninformative approaches for Bayesian variable selection built on Zellner's g-priors that are similar to Liang et al. (2008). The interest of those calibration-free proposals is discussed. The numerical experiments we present highlight the appeal of Bayesian regularization methods, when compared with non-Bayesian alternatives. They dominate frequentist methods in the sense that they provide smaller prediction errors while selecting the most relevant variables in a parsimonious way.

研究动机与目标

• 评估在 n ≈ p 且先验信息极少的设定下，贝叶斯与频率学派正则化方法的性能。
• 研究非信息先验对高维线性模型中变量选择与预测准确率的影响。
• 评估无需校准的分层 Zellner g-先验（NIMS 与 HG-2）作为客观贝叶斯替代方法的有效性与实用性。
• 比较贝叶斯与频率学派方法在模型选择简洁性与预测性能方面的表现。
• 为客观贝叶斯方法在小样本、高维设定下的稳健性与竞争力提供实证证据。

提出的方法

• 以 Zellner 的 g-先验为基线，扩展为分层与非信息形式，以降低对 g 的敏感性。
• 提出两种无需校准的先验：NIMS（非信息边际选择）与 HG-2（排除零模型的分层 g-先验）。
• 在贝叶斯方法中应用模型平均以计算预测误差，提升稳健性与均方误差（MSE）表现。
• 采用十折交叉验证对频率学派正则化方法（Lasso、弹性网络、Dantzig 选择器）进行调优。
• 在身体脂肪与臭氧数据集上进行模拟实验与真实数据实验，重复训练-测试划分 25 次。
• 通过预测均方误差（MSE）、变量选择频率与模型简洁性评估各方法表现。

实验结果

研究问题

• RQ1 当 n ≈ p 且先验信息极少时，贝叶斯与频率学派正则化方法在预测准确率与变量选择方面的表现如何比较？
• RQ2 无需校准的分层 g-先验（NIMS 与 HG-2）能否提供一种稳健、客观的替代传统 g-先验的方法，而无需调优 g？
• RQ3 贝叶斯方法在保持低预测误差的同时，能在多大程度上优于频率学派方法实现对相关变量的准确选择？
• RQ4 在真实世界数据集中，所提出的客观先验（NIMS 与 HG-2）相较于现有贝叶斯与频率学派方法表现如何？
• RQ5 在低信息设定下，模型平均对贝叶斯正则化方法预测性能有何影响？

主要发现

• 在模拟与真实数据集上，贝叶斯正则化方法始终表现出比频率学派方法更低的预测均方误差（MSE）。
• 贝叶斯方法更具简洁性，平均选择的变量更少，且在重复划分中表现出更高的变量选择一致性。
• NIMS 与 HG-2 无需校准的先验表现具有竞争力，可作为调优 g-先验的可行客观替代方案。
• 在身体脂肪数据集中，贝叶斯方法平均仅选择 3–4 个变量，而频率学派方法选择 5 个，且 25 次划分中 MSE 无差异。
• 在臭氧数据集中，贝叶斯方法与基于信息准则的方法（AIC/BIC）平均选择约三个变量，而正则化方法选择五个，且 MSE 差异可忽略。
• 贝叶斯方法中的模型平均提升了预测性能，使其在未直接最小化交叉验证误差的情况下仍具竞争力。