[论文解读] Ranking to Learn: Feature Ranking and Selection via Eigenvector Centrality

Giorgio Roffo, Simone Melzi|arXiv (Cornell University)|Apr 18, 2017

Machine Learning in Bioinformatics参考文献 23被引用 33

一句话总结

该论文提出了一种基于图的特征选择方法，通过使用特征关联图中的特征向量中心性（Eigenvector Centrality, EC）对特征进行排序，以识别最具信息量的特征。该方法在7个不同数据集上实现了最先进的准确率、稳定性和效率，相较于7种基准方法，在特征排序质量和分类性能方面均表现更优，同时保持了较低的计算成本。

ABSTRACT

In an era where accumulating data is easy and storing it inexpensive, feature selection plays a central role in helping to reduce the high-dimensionality of huge amounts of otherwise meaningless data. In this paper, we propose a graph-based method for feature selection that ranks features by identifying the most important ones into arbitrary set of cues. Mapping the problem on an affinity graph-where features are the nodes-the solution is given by assessing the importance of nodes through some indicators of centrality, in particular, the Eigen-vector Centrality (EC). The gist of EC is to estimate the importance of a feature as a function of the importance of its neighbors. Ranking central nodes individuates candidate features, which turn out to be effective from a classification point of view, as proved by a thoroughly experimental section. Our approach has been tested on 7 diverse datasets from recent literature (e.g., biological data and object recognition, among others), and compared against filter, embedded and wrappers methods. The results are remarkable in terms of accuracy, stability and low execution time.

研究动机与目标

• 为应对高维数据的挑战，高效且稳健地识别最具相关性的特征。
• 通过基于图的方法建模特征之间的相互关系，超越单一特征评分，从而改进特征选择。
• 开发一种可扩展的监督方法，基于加权关联图中特征的中心性对特征进行排序。
• 提供一个统一的开源MATLAB库（FSLib），用于大规模特征选择算法评估，具备一致的接口。

提出的方法

• 将特征映射为关联图中的节点，其中边表示特征分布之间的成对相似性。
• 使用核化相似性度量（如RBF）计算边权重，以反映特征之间的判别能力。
• 应用特征向量中心性（EC）通过评估每个特征邻居的重要性来对特征进行排序。
• 通过加权邻接矩阵的主导特征向量计算EC得分，利用递归影响传播捕捉全局相关性。
• 该方法具有可扩展性和可并行化特性，支持通过MapReduce进行分布式计算。
• 该方法已集成到统一的MATLAB工具箱（FSLib）中，具备标准化的输入/输出格式，适用于基准测试。

实验结果

研究问题

• RQ1 基于图的中心性度量（如特征向量中心性）能否有效对高维数据中特征的相关性进行排序？
• RQ2 所提出的基于EC的特征选择方法在准确率、稳定性和效率方面与已建立的过滤法、包装法和嵌入法相比表现如何？
• RQ3 该方法在具有不同维度和类别复杂度的多样化数据集上是否能保持一致的性能表现？
• RQ4 与独立评估特征的方法相比，基于图的特征关系建模在多大程度上提升了特征排序质量？
• RQ5 该方法能否通过分布式计算范式高效扩展至大规模或大数据应用？

主要发现

• 所提出的EC-FS方法在GINA手写识别数据集上实现了90.3%的平均AUC，在MADELON人工数据集上实现了63.7%的平均AUC，优于所有7种竞争方法。
• 在结肠、前列腺、白血病和淋巴瘤癌症数据集上，EC-FS在分类准确率方面表现最佳，且计算开销极低。
• 在100次随机数据划分中，该方法表现出卓越的排序稳定性，与基线方法相比具有统计学显著性差异（p < 0.05）。
• EC-FS在GINA数据集上的平均执行时间为1.56秒，在MADELON数据集上为0.57秒，显著快于RFE（50,163秒），且与其他快速方法相当。
• 该方法在选择50至200个特征的各类子集下均保持高性能，表现出一致的排序质量，不受子集大小影响。
• 开源的FSLib MATLAB工具箱支持无缝集成与大规模基准测试，有助于实现可复现性和可扩展性。