[论文解读] The All Relevant Feature Selection using Random Forest

Miron B. Kursa, Witold R. Rudnicki|arXiv (Cornell University)|Jun 25, 2011

Gene expression and cancer classification参考文献 19被引用 45

一句话总结

本文提出了一种基于随机森林的包装方法——Boruta，用于识别所有相关特征（包括强相关和弱相关特征）的特征选择。该方法基于置换重要性排序的启发式显著性检验，能够将真正相关特征与噪声区分开来，在合成数据和真实世界数据（包括基因表达数据集）中均表现出接近理想的表现，成功验证了已知基因并发现了新的基因。

ABSTRACT

In this paper we examine the application of the random forest classifier for the all relevant feature selection problem. To this end we first examine two recently proposed all relevant feature selection algorithms, both being a random forest wrappers, on a series of synthetic data sets with varying size. We show that reasonable accuracy of predictions can be achieved and that heuristic algorithms that were designed to handle the all relevant problem, have performance that is close to that of the reference ideal algorithm. Then, we apply one of the algorithms to four families of semi-synthetic data sets to assess how the properties of particular data set influence results of feature selection. Finally we test the procedure using a well-known gene expression data set. The relevance of nearly all previously established important genes was confirmed, moreover the relevance of several new ones is discovered.

研究动机与目标

• 开发一种稳健的包装式特征选择方法，能够在高维数据集中识别出所有相关特征（包括强相关和弱相关特征）。
• 评估基于随机森林的特征重要性在检测被较强特征掩盖的弱相关属性方面的表现。
• 评估Boruta启发式方法在区分真正相关特征与虚假特征方面的敏感性和可靠性，涵盖多种数据类型。
• 在真实世界生物数据（特别是基因表达数据集）上验证该方法，以发现超越先前识别结果的生物意义显著的特征。

提出的方法

• Boruta算法使用随机森林分类器，基于随机置换特征值后准确率的平均下降量来计算特征重要性。
• 通过将原始特征重要性与影子特征（原始特征的随机置换副本）的重要性进行比较，引入显著性检验。
• 若某特征的重要性超过多个迭代中影子特征的最大重要性，则将其分类为'重要'。
• 通过逐步增加树的数量进行多次随机森林训练，以稳定重要性估计并减少方差。
• 应用启发式阈值处理程序，识别出在多次迭代中持续优于其影子特征的特征，表明其具有真正相关性。
• 该方法设计为与分类器无关，但特别适用于随机森林，因其对弱相关特征具有高度敏感性。

实验结果

研究问题

• RQ1 基于随机森林的包装方法能否在高维数据中有效识别所有相关特征，包括弱相关特征？
• RQ2 在合成数据集上，Boruta启发式方法与理想参考算法相比，在特征选择准确性方面表现如何？
• RQ3 数据集属性（如维度、相关特征数量和噪声水平）对Boruta算法性能有何影响？
• RQ4 Boruta方法在真实基因表达数据中恢复已知生物相关基因的程度如何，是否能发现新基因？
• RQ5 随机森林集成中树的数量如何影响Boruta方法在特征选择中的敏感性和稳定性？

主要发现

• 在合成数据集上，Boruta启发式方法的表现非常接近理想参考算法，显示出在识别所有相关特征方面的高准确性。
• 该方法成功检测出所有强相关特征和大多数弱相关特征，即使在复杂数据结构中这些特征被较强特征掩盖时亦然。
• 在半合成的Golub基因表达数据集中，Boruta的结果与原始数据几乎完全一致，仅在数据复杂性增加时检测到的重要基因数量略有减少。
• 在真实Golub数据集上，Boruta确认了所有先前已确立的重要基因的相关性，并发现了超过150个先前方法未识别出的新潜在相关基因。
• 在真实生物数据中，Boruta对假阳性的敏感性较低，未检测到明显假阳性，表明其在生物意义明确的背景下具有鲁棒性。
• 随机森林集成中树的数量显著影响检测敏感性，尤其是对弱相关特征，需要更大的集成规模以稳定重要性估计。