[论文解读] Regularization after retention in ultrahigh dimensional linear regression models

Haolei Weng, Yang Feng+1 more|arXiv (Cornell University)|Nov 22, 2013

Statistical Methods and Inference参考文献 25被引用 4

一句话总结

本文提出了一种用于超高维线性回归的新型两步变量选择框架，其中在仅对剩余变量应用正则化之前，基于边际相关性保留重要变量。该方法实现了模型选择一致性，并在弱边际信号场景下，尤其在有限样本中，优于独立性筛选和Lasso方法。

ABSTRACT

In ultrahigh dimensional setting, independence screening has been both theoretically and empirically proved a useful variable selection framework with low computation cost. In this work, we propose a two-step framework by using marginal information in a different perspective from independence screening. In particular, we retain significant variables rather than screening out irrelevant ones. The new method is shown to be model selection consistent in the ultrahigh dimensional linear regression model. To improve the finite sample performance, we then introduce a three-step version and characterize its asymptotic behavior. Simulations and real data analysis show advantages of our method over independence screening and its iterative variants in certain regimes.

研究动机与目标

• 为解决独立性筛选在超高维设置下存在的局限性，即重要变量具有弱边际相关性时的问题。
• 在信号较弱或与噪声相关时，改善变量选择的有限样本性能。
• 开发一种理论基础扎实的方法，在弱于传统筛选方法的假设下确保模型选择一致性。
• 通过聚焦于潜在重要变量的保留，为筛选剔除方法提供一种有原则的替代方案。
• 在特定模拟设置下，展示所提方法相较于Lasso和迭代筛选变体的优越性。

提出的方法

• 该方法利用边际回归系数估计值，在第一步中基于基于置换的阈值化程序保留一组预测变量。
• 在第二步中，仅对未被保留的变量应用通过惩罚最小二乘法的正则化，从而降低优化问题的维度。
• 理论分析将标准的真实信号下界假设替换为无关变量边际相关性上界假设。
• 引入三步扩展以校正保留步骤中的假阳性，从而提升有限样本性能。
• 该方法在温和正则性条件下被证明具有模型选择一致性，且推导出两步和三步版本的渐近性质。
• 与Lasso的理论比较表明，在某些条件下该方法具有更优的选择一致性，尤其在信号较弱时。

实验结果

研究问题

• RQ1 基于保留的方法是否能在超高维线性模型中，尤其在边际信号较弱时，优于传统筛选方法？
• RQ2 当独立性筛选因边际相关性过弱而失效时，所提出的两步框架是否仍能实现模型选择一致性？
• RQ3 三步扩展如何通过校正保留步骤中的假阳性来提升有限样本性能？
• RQ4 所提方法实现选择一致性的理论条件是什么？与Lasso或SIS的条件相比如何？
• RQ5 在何种参数设置下，所提方法相较于Lasso和迭代筛选变体表现出更优性能？

主要发现

• 所提方法在超高维线性回归中实现了模型选择一致性，即使重要变量具有弱边际相关性。
• 在模拟实验中，该方法（RAR+）在选择准确性方面显著优于SIS-lasso和ISIS-lasso，尤其在弱信号场景下。
• 在情景4(C)中，当(n,p)=(700,4073)时，RAR+方法的平均信号恢复比例达到0.81（标准误0.08），而SIS-lasso仅为0.56。
• 三步版本（RAR+）将高维设置下的模型规模从超过100降低至约20，表明其有效消除了假阳性。
• 在情景4(D)中，RAR+(MC+)方法在(n,p)=(700,4073)时的模型规模为20.50（标准误0.95），与真实模型规模20非常接近。
• 理论分析表明，该方法的一致性条件弱于Lasso，尤其在信号较弱或与噪声相关时。