[论文解读] Review and Evaluation of Feature Selection Algorithms in Synthetic Problems

Lluís Belanche, Félix F. González|arXiv (Cornell University)|Jan 12, 2011

Evolutionary Algorithms and Applications参考文献 23被引用 35

一句话总结

本文在具有已知最优解的合成数据集上评估特征选择算法（FSAs），引入一种评分度量以量化FSAs输出与最优子集之间的匹配程度。结果表明，算法表现强烈依赖于数据特性（如无关性和冗余性），并揭示了单一算法或单一样本方法的不可靠性，主张采用混合方法与重采样技术以提升鲁棒性。

ABSTRACT

The main purpose of Feature Subset Selection is to find a reduced subset of attributes from a data set described by a feature set. The task of a feature selection algorithm (FSA) is to provide with a computational solution motivated by a certain definition of relevance or by a reliable evaluation measure. In this paper several fundamental algorithms are studied to assess their performance in a controlled experimental scenario. A measure to evaluate FSAs is devised that computes the degree of matching between the output given by a FSA and the known optimal solutions. An extensive experimental study on synthetic problems is carried out to assess the behaviour of the algorithms in terms of solution accuracy and size as a function of the relevance, irrelevance, redundancy and size of the data samples. The controlled experimental conditions facilitate the derivation of better-supported and meaningful conclusions.

研究动机与目标

• 在受控的合成实验环境中评估基础特征选择算法（FSAs）的性能。
• 开发一种评分度量，以量化FSAs输出与已知最优特征子集之间的匹配程度。
• 研究相关性、无关性、冗余性和样本大小等因素如何影响FSAs的准确率和解集大小。
• 质疑在数据有限或结构知识不足的情况下，单一算法或单一样本的FSAs评估的可靠性。
• 倡导通过系统性组合算法与重采样技术，以提升特征子集评估的可靠性。

提出的方法

• 生成具有可控相关特征、无关特征和冗余特征水平的合成数据集，以模拟各种数据条件。
• 定义一种评分度量，用于计算FSAs所选特征子集与已知最优子集之间的匹配程度，同时考虑相关性、无关性和冗余性。
• 在不同规模的特征集和样本量下，对多种FSAs实现（如W-Sfg、基于过滤的方法）进行应用。
• 使用包含已知最优解的一致基准套件，实现FSAs性能的自动化且可靠的比较。
• 推荐使用重采样技术，以应对有限样本量下相关性估计的随机性。
• 通过反例实验表明，诱导器性能（如朴素贝叶斯的准确率）并不总是与所提出的评分度量相关，揭示了评估中潜在的不一致。

实验结果

研究问题

• RQ1 在合成数据中，不同特征选择算法在已知最优解下的解集准确率和大小表现如何？
• RQ2 FSAs的性能在多大程度上依赖于数据集中相关特征、无关特征和冗余特征的比例？
• RQ3 样本大小如何影响合成环境下特征选择算法的可靠性与准确性？
• RQ4 训练好的诱导器（如朴素贝叶斯）的性能与所提出的子集质量评分度量之间是否存在强相关性？
• RQ5 当对数据的结构知识有限或模糊时，单一FSAs能否可靠识别出最优特征子集？

主要发现

• 特征选择算法的性能对无关特征和冗余特征占总特征数的比例高度敏感。
• 即使使用可靠的诱导器（如朴素贝叶斯），特征子集性能的评估也并不总与所提出的评分度量相关，表明子集质量可能存在误判。
• 在GMonks问题的10次实验中，具有相似诱导器准确率（如~0.88）的解集，其评分差异显著（0.412至0.730），表明不同评估指标之间存在不一致性。
• W-Sfg的递增特性导致在包含完全无关特征的情况下仍能提升分类器性能，表明在特定条件下存在优化行为缺陷。
• 结果表明，仅依赖单一FSAs或单一样本会导致不可靠结论，尤其在结构知识有限时更为明显。
• 本研究结论认为，混合算法与重采样技术对于实现更鲁棒且系统化的特征子集性能评估至关重要。