[论文解读] Spectral feature scaling method for supervised dimensionality reduction

Momo Matsuda, Keiichi Morikuni+1 more|arXiv (Cornell University)|May 18, 2018

Face and Expression Recognition参考文献 20被引用 3

一句话总结

该论文提出了一种监督维数约简方法，通过谱特征缩放提升聚类与分类性能，该方法从部分标注的局部数据中学习最优特征缩放因子。通过基于Fiedler向量和线性矩阵束的广义特征值问题公式化，该方法自适应地重标定特征，以增强降维空间中的可分性，在合成数据集和真实世界基因表达数据集上均优于现有方法，尤其在高维、小样本场景下表现更优。

ABSTRACT

Spectral dimensionality reduction methods enable linear separations of complex data with high-dimensional features in a reduced space. However, these methods do not always give the desired results due to irregularities or uncertainties of the data. Thus, we consider aggressively modifying the scales of the features to obtain the desired classification. Using prior knowledge on the labels of partial samples to specify the Fiedler vector, we formulate an eigenvalue problem of a linear matrix pencil whose eigenvector has the feature scaling factors. The resulting factors can modify the features of entire samples to form clusters in the reduced space, according to the known labels. In this study, we propose new dimensionality reduction methods supervised using the feature scaling associated with the spectral clustering. Numerical experiments show that the proposed methods outperform well-established supervised methods for toy problems with more samples than features, and are more robust regarding clustering than existing methods. Also, the proposed methods outperform existing methods regarding classification for real-world problems with more features than samples of gene expression profiles of cancer diseases. Furthermore, the feature scaling tends to improve the clustering and classification accuracies of existing unsupervised methods, as the proportion of training data increases.

研究动机与目标

• 解决因特征不规则性和不确定性导致高维数据聚类性能差的问题。
• 通过利用部分标签信息学习特征缩放因子，改进谱聚类与分类性能。
• 开发一种监督方法，通过自适应特征缩放增强降维特征空间中的线性可分性。
• 在人工问题和真实世界基因表达数据集上，证明该方法在鲁棒性和优越性方面优于现有方法。

提出的方法

• 该方法构建了一个涉及线性矩阵束的广义特征值问题，其中特征向量表示特征缩放因子。
• 利用部分样本标签的先验知识指定Fiedler向量，引导缩放过程以实现期望的聚类结构。
• 对所有样本应用特征缩放，通过调整方差和均值来提升降维空间中的可分性。
• 通过在应用拉普拉斯特征映射前转换特征，将该方法与谱聚类集成，从而实现更优的聚类形成。
• 该方法专为高维、小样本场景设计，此类场景在基因表达分析中极为常见。
• 可作为预处理步骤，用于增强现有无监督方法（如LPP和LFDA）的性能。

实验结果

研究问题

• RQ1 基于部分标签信息的特征缩放能否提升高维数据中谱聚类的性能？
• RQ2 与现有监督维数约简方法相比，监督特征缩放在聚类与分类准确率方面表现如何？
• RQ3 特征缩放在真实世界基因表达数据集（特征数多于样本数）中，对维数约简的鲁棒性提升程度如何？
• RQ4 当结合学习到的缩放因子时，该方法能否提升无监督谱聚类的性能？
• RQ5 随着标注训练数据比例的增加，该方法是否能保持或提升性能？

主要发现

• 在样本数多于特征数的人工问题中，该方法在聚类与分类准确率方面优于现有成熟监督方法。
• 在真实世界基因表达数据集（如卵巢癌、胰腺癌、IPF、结直肠癌）上，该方法的Rand Index (RI) 和Normalized Mutual Information (NMI) 分数均高于现有方法。
• 对于IPF数据集，SC-S达到RI为76.1% ± 0.00，NMI为0.093 ± 0.000，显著优于基线方法。
• 在分类任务中，SC-S在IPF数据集上达到97.4% ± 4.43的准确率，优于其他方法，包括KLFDA和LFDA。
• 该方法在聚类性能上表现出更强的鲁棒性，尤其当标注训练数据比例增加时。
• 特征缩放持续提升了LPP和LFDA等现有无监督方法的性能，尤其在高维场景下表现更优。