[论文解读] Unsupervised Feature Analysis with Class Margin Optimization

Sen Wang, Feiping Nie+4 more|arXiv (Cornell University)|Jun 3, 2015

Face and Expression Recognition参考文献 30被引用 13

一句话总结

该论文提出了一种无监督特征选择方法，通过在K均值嵌入框架中联合优化类别间距与特征相关性，并引入ℓ₂,ₚ-范数正则化。通过利用K均值生成的伪标签，并在特征系数矩阵中施加稀疏性，该方法能有效识别判别性特征，在六个基准数据集上实现了优越性能，并具有收敛性保证。

ABSTRACT

Unsupervised feature selection has been always attracting research attention in the communities of machine learning and data mining for decades. In this paper, we propose an unsupervised feature selection method seeking a feature coefficient matrix to select the most distinctive features. Specifically, our proposed algorithm integrates the Maximum Margin Criterion with a sparsity-based model into a joint framework, where the class margin and feature correlation are taken into account at the same time. To maximize the total data separability while preserving minimized within-class scatter simultaneously, we propose to embed Kmeans into the framework generating pseudo class label information in a scenario of unsupervised feature selection. Meanwhile, a sparsity-based model, ` 2 ,p-norm, is imposed to the regularization term to effectively discover the sparse structures of the feature coefficient matrix. In this way, noisy and irrelevant features are removed by ruling out those features whose corresponding coefficients are zeros. To alleviate the local optimum problem that is caused by random initializations of K-means, a convergence guaranteed algorithm with an updating strategy for the clustering indicator matrix, is proposed to iteractively chase the optimal solution. Performance evaluation is extensively conducted over six benchmark data sets. From plenty of experimental results, it is demonstrated that our method has superior performance against all other compared approaches.

研究动机与目标

• 为解决无标签数据下传统方法缺乏判别性指导的无监督特征选择挑战。
• 通过在无真实标签条件下同时最大化类间间距与最小化类内散度，提升特征选择性能。
• 通过引入稀疏性诱导的ℓ₂,ₚ-范数正则化，利用特征相关性以消除噪声和无关特征。
• 通过引入具有收敛性保证的迭代更新策略，克服K均值初始化导致的局部最优问题。
• 开发一种统一的嵌入式框架，将聚类与特征选择整合到单一优化过程中。

提出的方法

• 将最大间距准则（MMC）与基于稀疏性的模型结合，联合最大化类间可分性并最小化类内散度。
• 将K均值聚类嵌入优化框架中，生成引导无监督设置下间距最大化的伪标签。
• 对特征系数矩阵应用ℓ₂,ₚ-范数正则化以诱导稀疏性，有效去除无关和噪声特征。
• 设计一种具有收敛性保证的迭代算法，对聚类指示矩阵进行更新，避免因随机K均值初始化导致的局部最优。
• 使用交替方向法求解非凸优化问题，单调增加目标函数值。
• 固定聚类数量，迭代更新特征系数与聚类分配，以优化特征选择与伪标签。

实验结果

研究问题

• RQ1 无图无监督特征选择方法能否通过联合优化类别间距与特征相关性实现更优性能？
• RQ2 在无真实标签条件下，引入K均值生成的伪标签在多大程度上改善了特征选择？
• RQ3 ℓ₂,ₚ-范数正则化在多大程度上通过促进稀疏相关特征结构来增强特征选择？
• RQ4 所提出的具有收敛性保证的算法能否有效缓解因K均值初始化导致的局部最优问题？
• RQ5 该方法性能对正则化参数α、β和p的选择有多敏感？

主要发现

• 所提方法在全部六个基准数据集上均取得最高准确率，其中在COIL20数据集上使用800个选定特征时达到峰值性能0.7475。
• 在MNIST数据集上，使用全部特征时准确率为0.6392，而使用600个选定特征时提升至0.7813，表明最优特征子集选择可显著增强学习性能。
• 当β = 0（未利用特征相关性）时，性能显著下降——例如在COIL20上为0.6993——表明特征相关性学习对性能至关重要。
• 在COIL20上，β = 10¹时性能达到峰值（准确率为0.7285），表明通过ℓ₂,ₚ-范数正则化实现适度稀疏性可显著提升结果。
• 目标函数值在迭代过程中单调递增，且在COIL20、MNIST和USPS上八步内即完成收敛，证实了算法的收敛性与效率。
• 参数敏感性分析表明，性能在α、β和p的一定取值范围内保持稳定，最优性能出现在特定组合下，如α = 10⁻¹、β = 10⁻¹和p = 1.0。