[论文解读] Ultrahigh dimensional variable selection: beyond the linear model

Jianqing Fan, Samworth, Richard+1 more|ArXiv.org|Dec 17, 2008

Statistical Methods and Inference参考文献 34被引用 32

一句话总结

本文提出了一种广义的迭代Sure Independence Screening（ISIS）方法，用于超越线性模型的超高维变量选择，通过伪似然方法将框架扩展至广义线性模型和稳健回归。该方法通过在迭代过程中允许变量删除，改进了现有方法，降低了误发现率，并在真实数据上实现了更少预测变量下的优越分类性能，包括SRBCT基因表达数据集，其中ISIS仅选择了15个基因且测试误差为零。

ABSTRACT

Variable selection in high-dimensional space characterizes many contemporary problems in scientific discovery and decision making. Many frequently-used techniques are based on independence screening; examples include correlation ranking (Fan and Lv, 2008) or feature selection using a two-sample t-test in high-dimensional classification (Tibshirani et al., 2003). Within the context of the linear model, Fan and Lv (2008)showed that this simple correlation ranking possesses a sure independence screening property under certain conditions and that its revision, called iteratively sure independent screening (ISIS), is needed when the features are marginally unrelated but jointly related to the response variable. In this paper, we extend ISIS, without explicit definition of residuals, to a general pseudo-likelihood framework, which includes generalized linear models as a special case. Even in the least-squares setting, the new method improves ISIS by allowing variable deletion in the iterative process. Our technique allows us to select important features in high-dimensional classification where the popularly used two-sample t-method fails. A new technique is introduced to reduce the false discovery rate in the feature screening stage. Several simulated and two real data examples are presented to illustrate the methodology.

研究动机与目标

• 为解决现代统计学习中p >> n的超高维变量选择挑战，传统方法因计算和统计效率低下而失效。
• 将Sure Independence Screening（SIS）和Iterative SIS（ISIS）框架从线性模型扩展至广义线性模型和稳健回归，采用伪似然框架。
• 通过在迭代筛选过程中允许变量删除，改进ISIS，提升在边际相关性具有误导性时的选择准确性。
• 通过一种新技术降低初始筛选阶段的误发现率，提升高维分类中的可靠性。
• 在真实数据上展示该方法的有效性，包括基因表达分类，实现高精度且预测变量极少。

提出的方法

• 该方法将ISIS推广至伪似然框架，使方法可应用于广义线性模型和稳健回归，而无需显式计算残差。
• 采用迭代筛选策略，每一步选择与工作残差相关性最高的预测变量，并通过拟合模型更新残差。
• 在迭代过程中引入变量删除机制，允许移除先前选择但不重要的变量，提升模型稳定性和准确性。
• 提出一种新技术，通过改进选择准则（超越简单边际相关性）来降低筛选阶段的误发现率。
• 该方法分两个阶段应用：首先，通过迭代筛选将维度从p降低至d ≈ n/log n；其次，对降维后的集合应用惩罚似然方法（如SCAD）。
• 通过模拟实验和真实数据应用验证该方法，包括SRBCT基因表达数据集和基于微阵列数据的性别分类。

实验结果

研究问题

• RQ1 ISIS框架能否被推广至线性模型之外，以处理广义线性模型和稳健回归？
• RQ2 在迭代筛选过程中允许变量删除，是否能相比标准ISIS提升选择准确性？
• RQ3 一种新型筛选技术能否降低超高维特征选择中的误发现率？
• RQ4 与LASSO和NSC相比，该方法在真实数据上的分类准确性和稀疏性表现如何？
• RQ5 该方法能否在高维分类中以显著少于现有方法的预测变量数量实现零测试误差？

主要发现

• 所提出的广义ISIS方法在SRBCT基因表达数据集上仅使用15个预测变量即实现零测试误差，优于LASSO（71个基因）和NSC（343个基因）。
• 在性别分类数据集上，该方法成功识别出关键探针并实现高精度，var2-ISIS选择了14个基因，而ISIS选择了15个，两者在稀疏性上均优于LASSO和NSC。
• 通过改进的选择准则，该方法在筛选阶段降低了误发现率，提升了高维设置下的可靠性。
• 通过在迭代过程中允许变量删除，该方法优于标准ISIS，尤其在边际相关性因联合依赖关系而具有误导性时表现更优。
• 广义ISIS框架将无模型筛选的应用范围扩展至非线性和非高斯模型，包括广义线性模型和稳健回归。
• 在模拟实验和真实数据中，该方法在保持高统计功效的同时，实现了更优的计算效率和模型稳定性。