[论文解读] Unsupervised Feature Selection Based on Space Filling Concept

Mohamed Laib, Mikhaïl Kanevski|arXiv (Cornell University)|Jun 27, 2017

Metaheuristic Optimization Algorithms Research参考文献 13被引用 3

一句话总结

本文提出UfsCov，一种基于空间填充覆盖度量的新型无监督特征选择算法，旨在最小化高维数据中的冗余。通过迭代选择能最大化空间覆盖度的特征（采用顺序前向选择方法），该方法在参数极少的情况下实现了最优特征子集，在模拟数据、环境数据和高光谱数据集上表现优异，尤其在减少特征集的同时显著提升了分类准确率。

ABSTRACT

The paper deals with the adaptation of a new measure for the unsupervised feature selection problems. The proposed measure is based on space filling concept and is called the coverage measure. This measure was used for judging the quality of an experimental space filling design. In the present work, the coverage measure is adapted for selecting the smallest informative subset of variables by reducing redundancy in data. This paper proposes a simple analogy to apply this measure. It is implemented in a filter algorithm for unsupervised feature selection problems. The proposed filter algorithm is robust with high dimensional data and can be implemented without extra parameters. Further, it is tested with simulated data and real world case studies including environmental data and hyperspectral image. Finally, the results are evaluated by using random forest algorithm.

研究动机与目标

• 通过减少冗余而不依赖标签输出，解决高维数据中的维度灾难问题。
• 将原本用于实验设计的空填覆盖度量，适配为基于过滤器的无监督特征选择框架。
• 开发一种稳健的无参数算法，通过最大化数据空间覆盖度，选择最小的有信息量特征子集。
• 在模拟数据、环境数据集（如永久冻土）和高光谱图像（如印第安松）上评估该方法的性能。
• 在多个数据集上采用一致的随机森林评估协议验证所选特征。

提出的方法

• 覆盖度量通过比较数据点分布与规则网格的相似性，量化其在特征空间中的填充均匀程度；数值越低，表示填充越均匀。
• UfsCov算法采用顺序前向选择（SFS）方法，迭代添加能最大程度提升覆盖度量的特征。
• 在每一步中，算法计算所有候选特征子集的覆盖值，并选择覆盖值最小的子集，以体现最大均匀性和信息含量。
• 该方法以基于过滤器的方式实现，独立于任何学习模型，因此计算效率高且可扩展。
• 通过注入噪声和数据随机打乱，测试算法的鲁棒性。
• 结果通过随机森林分类进行评估，报告了多次运行下的准确率和Kappa系数。

实验结果

研究问题

• RQ1 空间填充覆盖度量能否有效适配于高维数据的无监督特征选择？
• RQ2 UfsCov算法在减少冗余的同时保留有信息特征方面，与基线方法相比表现如何？
• RQ3 所选特征子集是否能提升下游分类性能，特别是在高光谱图像和环境监测等复杂真实数据上？
• RQ4 在噪声和数据打乱等数据扰动下，UfsCov算法的鲁棒性如何？
• RQ5 覆盖度量能否作为无监督设置下识别最优特征子集的可靠、无参数准则？

主要发现

• 在永久冻土数据集上，UfsCov从26个特征中选择了17个，分类准确率达到0.9339（Kappa = 0.867），略优于全特征集（准确率0.9301，Kappa = 0.848）。
• 对于印第安松高光谱图像，该算法识别出200个波段中的69个为最优，显著降低维度的同时保持了强劲性能。
• 随机森林评估显示，UfsCov所选特征的分类准确率始终与使用全部特征相当或略有提升。
• 在永久冻土案例中，覆盖度量在17个特征时达到最小值；在印第安松案例中，69个特征时达到最小值，表明在此子集大小下实现了最优空间填充。
• 该算法在噪声和数据打乱条件下表现出鲁棒性，多次运行中性能保持一致。
• UfsCov算法已通过CRAN上的SFtools库以R语言实现，支持广泛复现，并可轻松集成至数据科学工作流中。