[论文解读] Think before you shrink: Alternatives to default shrinkage methods can improve prediction accuracy, calibration and coverage

Mark A. van de Wiel, Gwenaël G. R. Leday+4 more|arXiv (Cornell University)|Jan 24, 2023

Data Analysis with R被引用 4

一句话总结

本文提出了先进的收缩方法——微分岭惩罚和层次贝叶斯收缩，作为标准套索回归和岭回归的替代方案，证明这些方法在低维回归设置中显著提升了预测精度、校准性和置信区间覆盖度。主要贡献在于，这些方法通过降低偏差同时保持低方差，优于默认的收缩技术，且通过 mgcv 和 r-stan 提供了可重现的实现，有助于不确定性量化。

ABSTRACT

While shrinkage is essential in high-dimensional settings, its use for low-dimensional regression-based prediction has been debated. It reduces variance, often leading to improved prediction accuracy. However, it also inevitably introduces bias, which may harm two other measures of predictive performance: calibration and coverage of confidence intervals. Much of the criticism stems from the usage of standard shrinkage methods, such as lasso and ridge with a single, cross-validated penalty. Our aim is to show that readily available alternatives can strongly improve predictive performance, in terms of accuracy, calibration or coverage. For linear regression, we use small sample splits of a large, fairly typical epidemiological data set to illustrate this. We show that usage of differential ridge penalties for covariate groups may enhance prediction accuracy, while calibration and coverage benefit from additional shrinkage of the penalties. In the logistic setting, we apply an external simulation to demonstrate that local shrinkage improves calibration with respect to global shrinkage, while providing better prediction accuracy than other solutions, like Firth's correction. The benefits of the alternative shrinkage methods are easily accessible via example implementations using exttt{mgcv} and exttt{r-stan}, including the estimation of multiple penalties. A synthetic copy of the large data set is shared for reproducibility.

研究动机与目标

• 解决低维回归模型中预测精度、校准性和置信区间覆盖度之间的权衡问题。
• 挑战默认使用单重惩罚套索和岭回归方法的做法，因其会引入偏差和不稳定性。
• 证明微分收缩和局部收缩方法可在不牺牲可解释性的情况下提升预测性能。
• 为流行病学和生物统计学领域的应用研究人员提供可访问、可重现的实现，基于 mgcv 和 r-stan。
• 倡导采用层次收缩和惩罚不确定性建模，以提升模型可靠性与不确定性量化能力。

提出的方法

• 应用针对协变量组定制的微分岭惩罚，实现变量特异性收缩，无需事先进行变量选择。
• 使用具有惩罚方差超先验的层次贝叶斯先验，实现局部收缩并稳定估计。
• 通过 mgcv（频率学派）和 r-stan（贝叶斯）实现多重惩罚估计，支持自动调参和不确定性传播。
• 通过模拟比较全局与局部收缩在逻辑回归中的表现，包括费尔思校正和经验贝叶斯方法。
• 使用合成数据和小样本划分验证不同 n:p 比例下的性能表现。
• 通过修正的方差估计将惩罚不确定性纳入频率学派区间，提升覆盖度。

实验结果

研究问题

• RQ1 在低维设置下，微分岭惩罚是否能相比标准岭回归和套索回归显著提升预测精度和校准性？
• RQ2 与全局收缩相比，通过层次先验实现的局部收缩在校准性和覆盖度方面有何影响？
• RQ3 具有惩罚方差超先验的贝叶斯层次模型在多大程度上提升了惩罚参数的稳定性和不确定性量化能力？
• RQ4 在逻辑回归中，替代收缩方法是否能在保持更好校准性和预测精度的同时，优于费尔思校正？
• RQ5 与普通最小二乘法相比，先进收缩方法在偏差、方差和覆盖度方面的性能提升程度如何？

主要发现

• 微分岭惩罚通过实现变量组特异性收缩，在线性回归中显著提升了预测精度，优于标准岭回归和套索回归。
• 通过层次先验实现的局部收缩提升了校准性和置信区间覆盖度，相比全局收缩方法减少了偏差。
• 在惩罚方差上使用超先验的贝叶斯层次模型，相比固定或交叉验证的惩罚，提供了更优的不确定性量化和更稳定的惩罚估计。
• 在逻辑回归中，所提出的方法在保持或提升预测精度的同时，校准性优于费尔思校正。
• 基于 mgcv 和 r-stan 的实现支持多重惩罚的自动估计，并在小样本中提供了可靠的覆盖度。
• 合成数据集和示例代码确保了可重现性，并促进了流行病学和生物统计学领域应用研究人员的采纳。