[论文解读] Variable importance and model selection by decorrelation

Verena Zuber, Korbinian Strimmer|arXiv (Cornell University)|Jul 30, 2010

Gene expression and cancer classification参考文献 26被引用 11

一句话总结

本文提出CAR评分，一种用于线性回归的新颖变量重要性准则，通过马氏距离去相关性对预测变量进行排序，促进相关变量的分组，并减少对抗性变量的干扰。在模拟和真实基因组数据中，其变量选择性能优于现代方法（如弹性网络和提升法），预测精度更高，且真阳性率/假阳性率表现更优。

ABSTRACT

Variable selection is a difficult problem that is particularly challenging in the analysis of high-dimensional genomic data. Here, we introduce the CAR score, a novel and highly effective criterion for variable ranking in linear regression based on Mahalanobis-decorrelation of the explanatory variables. The CAR score provides a canonical ordering that encourages grouping of correlated predictors and down-weights antagonistic variables. It decomposes the proportion of variance explained and it is an intermediate between marginal correlation and the standardized regression coefficient. As a population quantity, any preferred inference scheme can be applied for its estimation. Using simulations we demonstrate that variable selection by CAR scores is very effective and yields prediction errors and true and false positive rates that compare favorably with modern regression techniques such as elastic net and boosting. We illustrate our approach by analyzing data concerned with diabetes progression and with the effect of aging on gene expression in the human brain. The R package care implementing CAR score regression is available from CRAN.

研究动机与目标

• 解决高维基因组数据中预测变量常存在相关性时的变量选择挑战。
• 开发一种准则，通过减少相关及对抗性预测变量的干扰，改善变量排序。
• 提供一种可在任意首选推断方法下估计的总体水平变量重要性度量。
• 证明基于CAR评分的变量选择在预测误差和真正/假正类率方面优于最先进的方法（如弹性网络和提升法）。
• 在真实生物数据集（包括糖尿病进展和大脑老化基因表达）中展示该方法的有效性。

提出的方法

• 提出CAR评分作为基于解释变量马氏去相关性的变量重要性度量。
• 使用马氏变换对预测变量进行去相关，实现一种能将相关变量分组的规范排序。
• 将CAR评分定义为边际相关性与标准化回归系数之间的中间量，同时捕捉边际效应与联合效应。
• 利用去相关框架分解每个预测变量解释的方差比例，以评估其个体贡献。
• 使用任意一致的推断程序从样本数据中估计CAR评分，使其适用于多种数据类型，具备灵活性。
• 在CRAN上的R包'care'中实现该方法，便于在高维回归中实际应用。

实验结果

研究问题

• RQ1 当预测变量高度相关时，如何在高维线性回归中改进变量重要性？
• RQ2 基于去相关性的准则是否能减少对抗性变量在变量选择中的负面影响？
• RQ3 与边际相关性或标准化回归系数相比，CAR评分是否能提供更准确、更稳定的预测变量排序？
• RQ4 基于CAR评分的变量选择与现代技术（如弹性网络和提升法）相比，在预测误差和选择准确性方面表现如何？
• RQ5 CAR评分能否有效识别出如糖尿病或大脑老化等复杂生物数据集中相关的基因？

主要发现

• CAR评分通过马氏变换对预测变量进行去相关，有效将相关预测变量分组，降低了变量排序中的干扰。
• 在模拟实验中，基于CAR评分的变量选择实现了比弹性网络和提升法更低的预测误差，以及更优的真正/假正类率。
• CAR评分自然地介于边际相关性与标准化回归系数之间，提供了更均衡的变量重要性度量。
• 该方法在真实世界数据中表现出色，成功识别出糖尿病进展和大脑老化基因表达研究中的生物相关预测变量。
• R包'care'支持CAR评分回归的实际应用，可实现高维基因组数据的可重现、可扩展分析。