[论文解读] Sequential Lasso for feature selection with ultra-high dimensional feature space

Shan Luo, Zehua Chen|arXiv (Cornell University)|Jul 14, 2011

Statistical Methods and Inference参考文献 37被引用 6

一句话总结

本文提出了一种名为顺序Lasso（Sequential Lasso）的新特征选择方法，用于超高维线性模型，通过迭代地应用Lasso并动态调整惩罚参数，逐步识别相关特征。该方法在弱于现有方法的条件下实现了选择一致性，并在模拟实验中表现出色，尤其在Lasso和FSR失效的高相关结构下表现更优。

ABSTRACT

We propose a novel approach, Sequential Lasso, for feature selection in linear regression models with ultra-high dimensional feature spaces. We investigate in this article the asymptotic properties of Sequential Lasso and establish its selection consistency. Like other sequential methods, the implementation of Sequential Lasso is not limited by the dimensionality of the feature space. It has advantages over other sequential methods. The simulation studies comparing Sequential Lasso with other sequential methods are reported.

研究动机与目标

• 解决特征数量远超样本量的超高维线性模型中的特征选择挑战。
• 克服传统Lasso和前向逐步回归（FSR）在高相关性和发散因果特征集下的局限性。
• 开发一种序列方法，即使特征空间随样本量呈指数增长，也能保持选择一致性。
• 在弱于不可表示性条件或相互不相干性假设的条件下，为选择一致性提供理论依据。
• 在模拟研究中展示该方法在各种相关结构下的鲁棒性和优越性。

提出的方法

• 从标准Lasso开始，使用能产生非零系数估计的最大惩罚参数，形成初始活跃特征集。
• 在后续步骤中，应用部分惩罚：当前活跃特征集中的系数不被惩罚，而其他所有系数均被惩罚。
• 使用更新后的惩罚参数，通过惩罚最小二乘准则重新估计系数，并选择非零系数的特征。
• 通过在当前步骤中添加非零系数的特征，迭代扩展活跃特征集，直至满足预设规则（例如EBIC或已知的$p_{0n}$）为止。
• 使用扩展贝克信息准则（EBIC）作为停止准则，以平衡模型拟合与复杂度。
• 该方法利用部分正锥条件，在弱于OMP或Lasso所需假设的条件下，确保选择一致性。

实验结果

研究问题

• RQ1 当特征数量随样本量呈指数增长时，序列Lasso过程能否实现选择一致性？
• RQ2 在特征间存在高相关性，尤其是因果特征与非因果特征高度相关时，顺序Lasso相较于Lasso和FSR的性能如何？
• RQ3 在传统方法如Lasso或FSR失效的情况下，顺序Lasso在何种条件下仍能保持选择一致性？
• RQ4 在超高维设定下，顺序Lasso在不同相关结构（如恒定相关、指数衰减、高集体相关）中是否表现出鲁棒性？
• RQ5 顺序Lasso的理论性质能否推广至分析OMP，从而在更弱假设下揭示其行为的新见解？

主要发现

• 顺序Lasso在弱于不可表示性条件或相互不相干性性质的条件下，即使特征数量随样本量呈指数增长，也能实现选择一致性。
• 在模拟研究A（独立或弱相关特征）中，顺序Lasso的表现与FSR相当，且在使用EBIC作为停止准则时略优于Lasso。
• 在模拟研究B（强相关非因果特征）中，顺序Lasso在更高PDR和更低FDR方面显著优于Lasso和FSR，尤其当使用$p_{0n}$作为停止规则时。
• 在相关结构B2（非因果特征与所有因果特征高度相关）下，顺序Lasso保持了低FDR，而FSR尽管PDR较高，却表现出高FDR，表明其对假阳性具有更好的控制能力。
• 当使用EBIC进行模型选择时，顺序Lasso在高相关性设定下仍与Lasso保持竞争力，且显著优于FSR。
• 该方法在多种相关结构（包括指数衰减和高集体相关）下的鲁棒性，展示了其在真实超高维数据中的优越性与可靠性。