[论文解读] Using Dimension Reduction to Improve the Classification of High-dimensional Data

Andreas Grünauer, Markus Vincze|arXiv (Cornell University)|May 26, 2015

Machine Learning in Bioinformatics参考文献 3被引用 10

一句话总结

本研究评估了在高维结构磁共振成像数据且训练样本有限的情况下，通过方差分析F检验特征选择与主成分分析（PCA）进行降维的效果。结果表明，两种方法均能提升分类性能，其中方差分析F检验始终优于PCA，尤其在将特征减少至12–92个时表现更优，且RBF-SVM在92个特征时达到最佳性能。

ABSTRACT

In this work we show that the classification performance of high-dimensional structural MRI data with only a small set of training examples is improved by the usage of dimension reduction methods. We assessed two different dimension reduction variants: feature selection by ANOVA F-test and feature transformation by PCA. On the reduced datasets, we applied common learning algorithms using 5-fold cross-validation. Training, tuning of the hyperparameters, as well as the performance evaluation of the classifiers was conducted using two different performance measures: Accuracy, and Receiver Operating Characteristic curve (AUC). Our hypothesis is supported by experimental results.

研究动机与目标

• 探究在训练样本有限的高维结构磁共振成像数据上，降维是否能提升分类准确率。
• 比较基于过滤法的特征选择（ANOVA F检验）与基于特征变换的降维方法（PCA）在提升分类器性能方面的有效性。
• 在经降维的特征空间中，通过交叉验证评估多种分类器（k-NN、GNB、Ridge、SVM、SVM-RBF、RF）的性能。
• 评估使用准确率与AUC作为性能指标时，超参数调优的影响。
• 确定能最大化分类器性能且避免过拟合的最优特征数/主成分数量。

提出的方法

• 应用ANOVA F检验，根据各类别均值差异的统计显著性，对特征进行排序并选择前s个特征。
• 使用PCA将原始数据投影到由前s个主成分张成的低维空间中，以最大化方差。
• 在降维后的数据集上，使用5折交叉验证训练六种分类器（k-NN、GNB、Ridge、SVM、SVM-RBF、RF）。
• 通过在每种分类器的预定义离散值集合上进行网格搜索，优化超参数。
• 分别以准确率与AUC作为性能指标，独立地进行超参数调优与性能评估。
• 比较在不同选择的特征数（s = 12 至 184）与主成分数（s = 3 至 24）下各类分类器的性能表现。

实验结果

研究问题

• RQ1 在高维结构磁共振成像数据且训练样本有限的情况下，降维是否能提升分类性能？
• RQ2 在ANOVA F检验特征选择与PCA之间，哪种降维方法能获得更好的分类结果？
• RQ3 所选特征数或主成分数如何影响不同算法的分类器性能？
• RQ4 性能指标的选择（准确率 vs. AUC）是否会影响最优超参数的选择及最终分类器性能？
• RQ5 为何在小样本、高维设置下，高斯朴素贝叶斯（GNB）优于线性判别分析（LDA）？

主要发现

• ANOVA F检验特征选择在所有分类方法中均提升了分类性能，最优结果出现在s = 12个特征时，此时性能与完整184个特征数据集相当或更优。
• RBF-SVM在使用ANOVA F检验降维至s = 92个特征时达到峰值性能，表明更多特征并不一定带来更好结果，因存在过拟合风险。
• 基于PCA的降维也提升了性能，最优结果出现在s = 24个主成分时，多数分类器在此处达到最大性能后开始下降。
• k-NN在所有主成分数量下表现均较差，而SVM-RBF保持稳健，并在所有主成分数量下均优于其他分类器。
• 当s > 12个主成分时，GNB优于LDA，归因于GNB的假设更简单，且在小样本设置下更具鲁棒性，尤其在协方差矩阵估计不可靠时。
• 在PCA降维数据中，s = 12个主成分处性能出现下降，表明存在一个阈值，超过该阈值后，主成分中的噪声或无关信息会损害性能，即使已进行降维。