[论文解读] Regression shrinkage and grouping of highly correlated predictors with HORSES

Woncheol Jang, Johan Lim+3 more|arXiv (Cornell University)|Feb 1, 2013

Statistical Methods and Inference参考文献 15被引用 4

一句话总结

该论文提出HORSES，一种新颖的正则化方法，通过利用正相关结构，同时实现变量选择与高度相关预测变量的分组。该方法在系数及其成对差异上使用混合L1惩罚，形成六边形约束区域，促进稀疏性和正相关变量的聚类，在低维和高维数据上均优于现有方法，在预测准确性和模型简洁性方面表现更优。

ABSTRACT

Identifying homogeneous subgroups of variables can be challenging in high dimensional data analysis with highly correlated predictors. We propose a new method called Hexagonal Operator for Regression with Shrinkage and Equality Selection, HORSES for short, that simultaneously selects positively correlated variables and identifies them as predictive clusters. This is achieved via a constrained least-squares problem with regularization that consists of a linear combination of an L_1 penalty for the coefficients and another L_1 penalty for pairwise differences of the coefficients. This specification of the penalty function encourages grouping of positively correlated predictors combined with a sparsity solution. We construct an efficient algorithm to implement the HORSES procedure. We show via simulation that the proposed method outperforms other variable selection methods in terms of prediction error and parsimony. The technique is demonstrated on two data sets, a small data set from analysis of soil in Appalachia, and a high dimensional data set from a near infrared (NIR) spectroscopy study, showing the flexibility of the methodology.

研究动机与目标

• 解决高维回归设置中选择和分组高度相关预测变量的挑战。
• 开发一种仅对正相关预测变量进行聚类的方法，避免包含负相关变量。
• 通过结合L1正则化与成对系数差异惩罚，实现稀疏性与预测准确性的统一。
• 提供一种计算高效的算法以实现应用，尤其适用于p > n情形。
• 通过模拟实验和真实数据应用，展示该方法的灵活性与优越性。

提出的方法

• HORSES求解一个带有惩罚函数的约束最小二乘问题，该惩罚函数结合了系数的L1范数与成对系数差异的L1范数。
• 惩罚项定义为 α∑|βj| + (1−α)∑|βj−βk|，其中α控制稀疏性与分组之间的平衡。
• 约束区域在系数空间中呈现六边形形状，有利于正相关预测变量具有相等的系数值。
• 通过在α上设置下界d⁻¹来确保稀疏性，推荐d=√p以与Elastic Net保持一致性。
• 开发了一种高效的优化算法以求解该问题，使方法可应用于高维数据（p > n）。
• 通过交叉验证或信息准则选择调参α和t，以平衡模型拟合与复杂度。

实验结果

研究问题

• RQ1 是否有一种正则化方法能有效仅对正相关预测变量进行分组，同时在高维回归中保持稀疏性？
• RQ2 HORSES与LASSO、Elastic Net和OSCAR等现有方法相比，在预测误差和模型简洁性方面表现如何？
• RQ3 HORSES中的六边形约束区域是否能产生比其他正则化形状更具可解释性和同质性的预测变量聚类？
• RQ4 HORSES能否在p > n的高维数据中保持计算效率与统计一致性？
• RQ5 当相关预测变量之间缺乏空间邻接性时（如基因组或神经影像数据），该方法是否仍具鲁棒性？

主要发现

• 在模拟研究中，HORSES显著降低了与LASSO、岭回归、Elastic Net和OSCAR相比的预测误差。
• 该方法通过选择更少但更一致的正相关预测变量组，实现了更高的简洁性。
• 在近红外光谱数据中，HORSES成功识别出与化学成分相关的生物上有意义的波长聚类。
• 在阿巴拉契亚土壤数据中，HORSES在预测准确性和组内同质性方面均优于竞争方法。
• 理论分析证实，HORSES通过在α上设置下界，避免了非唯一解的问题，确保了稀疏性。
• 该方法在预测变量相关但不具空间邻接性的场景中表现出鲁棒性，凸显其在非空间结构数据中的灵活性。