[论文解读] Variable selection from random forests: application to gene expression data

Ramón Díaz‐Uriarte, Sara Álvarez de Andrés|ArXiv.org|Mar 16, 2005

Gene expression and cancer classification参考文献 48被引用 45

一句话总结

本文提出了一种基于随机森林的稳健变量选择方法，用于基因表达数据，结合变量重要性度量与向后消除法，以识别小型、稳定且具有预测能力的基因集。该方法在保持高分类准确率的同时，克服了微阵列分析中常见的多重共线性和不稳定性问题，并提供了公开的R包（varSelRF）以支持可重复研究。

ABSTRACT

Random forest is a classification algorithm well suited for microarray data: it shows excellent performance even when most predictive variables are noise, can be used when the number of variables is much larger than the number of observations, and returns measures of variable importance. Thus, it is important to understand the performance of random forest with microarray data and its use for gene selection. We first show the effects of changes in parameters of random forest on the prediction error. Then we present an approach for gene selection that uses measures of variable importance and error rate, and is targeted towards the selection of small sets of genes. Using simulated and real microarray data, we show that the gene selection procedure yields small sets of genes while preserving predictive accuracy. Availability: All code is available as an R package, varSelRF, from CRAN, http://cran.r-project.org/src/contrib/PACKAGES.html, or from the supplementary material page. Supplementary information: http://ligarto.org/rdiaz/Papers/rfVS/randomForestVarSel.html

研究动机与目标

• 评估随机森林参数（mtry、ntree、nodesize）对微阵列数据预测误差的影响。
• 开发一种基因选择方法，以识别小型、非冗余的基因集，同时保持高预测准确性。
• 解决基因选择中的不稳定性与多重性问题，即尽管预测性能相似，不同运行却产生不同的基因列表。
• 提供一种实用且可重复的框架，利用随机森林实现生物可解释的基因选择。
• 通过R包（varSelRF）使该方法易于在基因组研究中广泛采用。

提出的方法

• 利用原始数据和置换数据训练的随机森林生成的变量重要性图，识别与结果显著相关的基因。
• 采用向后变量消除算法，基于重要性评分迭代移除最不重要的基因，并通过误差率监控进行引导。
• 调整每次迭代中移除的变量比例，以控制基因集大小选择的分辨率。
• 使用稳定性参数（se）增强自举样本间变量重要性估计的一致性。
• 通过Rmpi和Snow包实现并行计算，以提高大规模微阵列数据的计算效率。
• 使用模拟数据和九个真实微阵列数据集对结果进行验证，以评估性能与稳定性。

实验结果

研究问题

• RQ1 随机森林参数（mtry、ntree、nodesize）的变化如何影响微阵列数据中的预测误差？
• RQ2 即使存在共线性，随机森林的变量重要性图是否能可靠地恢复真实的生物相关基因集？
• RQ3 使用随机森林重要性度量进行向后变量消除，是否能产生小型、准确且稳定的基因集，相较于现有先进方法？
• RQ4 所选基因集在多次运行中有多稳定？与其它基因选择方法相比表现如何？
• RQ5 该方法能否在高维基因表达数据中平衡预测准确性与生物可解释性？

主要发现

• 随机森林中mtry的默认值通常可获得良好性能，且将ntree增加到2000以上对误差率或稳定性的改善可忽略不计。
• 结合随机森林重要性度量的向后变量消除法在选择极小基因集的同时，实现了与或优于多种先进算法的高预测准确性。
• 即使预测变量高度相关，变量重要性图仍能有效识别相关基因，表明对多重共线性具有鲁棒性。
• 在模拟数据中，该方法成功恢复了全部真实预测基因，证实了其敏感性与特异性。
• 尽管基因选择本身存在固有的不稳定性（多重性问题），该方法在结合多次运行与稳定性检查后，表现出显著提升的稳定性和一致性。
• R包varSelRF支持可重复且可扩展的实现，通过并行化显著缩短大规模数据集的计算时间。