[论文解读] Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection

Zhengxin Li, Feiping Nie+2 more|arXiv (Cornell University)|Dec 29, 2020

Face and Expression Recognition参考文献 26被引用 7

一句话总结

该论文提出SPCAFS，一种新颖的无监督特征选择方法，通过将重建误差最小化与ℓ₂,ₚ-范数正则化相结合，学习用于降维的稀疏投影矩阵。该方法在多个真实世界数据集上实现了优越的聚类性能，相较于最先进基线方法，准确率最高提升5%，标准化互信息最高提升3%，同时保持快速收敛和低计算复杂度。

ABSTRACT

In the field of data mining, how to deal with high-dimensional data is an inevitable problem. Unsupervised feature selection has attracted more and more attention because it does not rely on labels. The performance of spectral-based unsupervised methods depends on the quality of constructed similarity matrix, which is used to depict the intrinsic structure of data. However, real-world data contain a large number of noise samples and features, making the similarity matrix constructed by original data cannot be completely reliable. Worse still, the size of similarity matrix expands rapidly as the number of samples increases, making the computational cost increase significantly. Inspired by principal component analysis, we propose a simple and efficient unsupervised feature selection method, by combining reconstruction error with $l_{2,p}$-norm regularization. The projection matrix, which is used for feature selection, is learned by minimizing the reconstruction error under the sparse constraint. Then, we present an efficient optimization algorithm to solve the proposed unsupervised model, and analyse the convergence and computational complexity of the algorithm theoretically. Finally, extensive experiments on real-world data sets demonstrate the effectiveness of our proposed method.

研究动机与目标

• 解决无监督学习中高维数据的挑战，其中传统谱方法对噪声特征和相似性矩阵构建敏感。
• 开发一种高效、无需标签的特征选择方法，无需依赖类别标签即可保留数据的内在结构。
• 通过在低秩重建框架中嵌入结构化稀疏性，克服现有过滤法和包装法的局限性。
• 设计一种具有理论收敛保证且计算复杂度为线性的优化算法，以确保可扩展性。
• 在多种真实世界数据集上展示对超参数选择的鲁棒性及卓越性能。

提出的方法

• 将无监督特征选择建模为低秩重建问题，通过稀疏投影矩阵W最小化数据的重建误差。
• 在投影矩阵W上引入ℓ₂,ₚ-范数正则化，以诱导行级稀疏性，促进特征选择，同时保持凸性以实现稳定优化。
• 采用两步交替优化算法求解非凸问题：固定重建时更新W，固定W时更新重建。
• 目标函数结合数据重建误差与ℓ₂,ₚ正则化：min ||X - XW||_F² + γ||W||₂,ₚ，其中γ控制稀疏性。
• 证明优化算法的收敛性，并分析其计算复杂度为样本数量的线性关系。
• 将该方法应用于真实世界数据集，基于学习到的稀疏投影矩阵选择特征，无需标签。

实验结果

研究问题

• RQ1 ℓ₂,ₚ-范数正则化能否有效在投影矩阵中诱导稀疏性，以实现无监督特征选择？
• RQ2 与现有无监督特征选择技术相比，该方法在聚类准确率和标准化互信息方面的表现如何？
• RQ3 所提出的优化算法的收敛行为和计算效率如何？
• RQ4 该方法对超参数γ和m的选择有多敏感？ℓ₂,ₚ-范数正则化中p的最优值是什么？
• RQ5 该方法在具有不同维度和噪声水平的多样化真实世界数据集上是否保持稳健性能？

主要发现

• SPCAFS在所有测试数据集上显著提升了聚类准确率和标准化互信息（NMI），在Imm40数据集上相比第二好的方法MCFS，准确率最高提升5%，NMI最高提升3%。
• 该方法收敛迅速，所有数据集上的目标函数值均快速稳定，证实了所提优化算法的高效性。
• 在γ和m的广泛取值范围内性能保持稳定，表明对超参数调优的敏感度较低，增强了实际可用性。
• 在ℓ₂,ₚ-范数正则化中设置p = 1可获得最优结果；当p小于1时，性能下降，原因在于非凸性增强和优化难度上升。
• 随着所选特征数量的增加，聚类性能先提升后下降，证实冗余特征在过度选择时会降低性能。
• 在PalmData25数据集上，SPCAFS优于所有对比方法，尽管略逊于全特征基线，仍表现出在挑战性场景下的持续有效性。