[论文解读] On Supervised Feature Selection from High Dimensional Feature Spaces

Yijing Yang, Wei Wang+2 more|arXiv (Cornell University)|Mar 22, 2022

Face and Expression Recognition被引用 4

一句话总结

本文提出判别特征检验（DFT）与相关特征检验（RFT）用于高维空间中的监督特征选择，利用加权熵（DFT）和加权均方误差（RFT）对特征进行排序。在LeNet-5提取的MNIST与Fashion-MNIST特征上进行的实验表明，DFT与RFT能够实现显著更低维、鲁棒性更强的特征子空间，同时保持接近最优的分类与回归性能。

ABSTRACT

The application of machine learning to image and video data often yields a high dimensional feature space. Effective feature selection techniques identify a discriminant feature subspace that lowers computational and modeling costs with little performance degradation. A novel supervised feature selection methodology is proposed for machine learning decisions in this work. The resulting tests are called the discriminant feature test (DFT) and the relevant feature test (RFT) for the classification and regression problems, respectively. The DFT and RFT procedures are described in detail. Furthermore, we compare the effectiveness of DFT and RFT with several classic feature selection methods. To this end, we use deep features obtained by LeNet-5 for MNIST and Fashion-MNIST datasets as illustrative examples. Other datasets with handcrafted and gene expressions features are also included for performance evaluation. It is shown by experimental results that DFT and RFT can select a lower dimensional feature subspace distinctly and robustly while maintaining high decision performance.

研究动机与目标

• 为通过从高维输入中识别判别性与相关性特征子空间来应对机器学习中的维度灾难。
• 开发一种计算高效的基于过滤器的特征选择方法，其在选择低维、高性能特征子集方面优于经典技术。
• 评估所提方法在图像数据集深度特征上的鲁棒性与有效性，包括含噪与无噪数据。
• 证明DFT与RFT在特征重要性曲线中产生明显的拐点，从而实现可靠的降维。

提出的方法

• DFT使用加权熵衡量特征在分类任务中的判别能力，根据其分离类别能力对特征进行排序。
• RFT使用加权均方误差（MSE）评估特征与回归目标的相关性，支持回归任务中的特征排序。
• 该方法为基于过滤器的方法，独立于学习算法运行，无需迭代模型训练即可对特征进行评分。
• 通过识别DFT/RFT评分曲线中的‘拐点’进行特征选择，该拐点表示维度与性能之间的最优权衡。
• 该方法应用于LeNet-5在MNIST与Fashion-MNIST上提取的深度特征，包含对PCA预处理的消融分析及抗噪性评估。
• 性能基准对比包括方差、相关性以及XGBoost特征重要性（FI），使用分类准确率与回归MSE作为评估指标。

实验结果

研究问题

• RQ1 DFT与RFT能否在高维图像数据中识别出维持高性能的低维特征子空间？
• RQ2 DFT/RFT评分曲线中的拐点与方差、相关性及XGBoost特征重要性的拐点相比，在可靠性和显著性方面如何？
• RQ3 DFT与RFT在图像分类与回归任务的特征选择中，对噪声输入数据的鲁棒性如何？
• RQ4 PCA预处理如何影响DFT与RFT对特征的分布与选择结果？

主要发现

• 与方差、相关性及XGBoost特征重要性相比，DFT与RFT在特征重要性曲线中产生更明显且更可靠的拐点，从而支持更清晰的降维决策。
• 在MNIST与Fashion-MNIST上，当仅使用25%-37.5%的特征时，RFT的回归MSE可保持在完整特征集的20%-30%以内，表现出极高效率。
• 在100-D特征下，RFT在MNIST上的回归MSE为0.91，在Fashion-MNIST上为1.48（位于后期拐点），优于基于方差与相关性的方法。
• 当应用PCA后，使用DFT选择的特征子集更集中于前20–50个主成分，表明其与主导方差方向对齐更好。
• 即使在噪声输入下，DFT与RFT仍保持高性能，表明其在特征选择中对数据污染具有鲁棒性。
• 所提方法在保持接近最优性能的同时，显著降低了特征子空间的维度，证实其在高维场景下的有效性。