[论文解读] Robust Unsupervised Flexible Auto-weighted Local-Coordinate Concept Factorization for Image Clustering

Zhao Zhang, Yan Zhang+4 more|arXiv (Cornell University)|May 25, 2019

Face and Expression Recognition参考文献 33被引用 4

一句话总结

该论文提出RFA-LCF，一种鲁棒的无监督图像聚类框架，通过将灵活的自加权局部坐标编码与概念分解相结合，实现了在基准数据集上的最先进聚类性能。该方法通过联合保持干净数据、基概念和新表示中的流形结构，并采用L2,1-范数正则化以增强对噪声的鲁棒性，从而实现优异的聚类效果。

ABSTRACT

We investigate the high-dimensional data clustering problem by proposing a novel and unsupervised representation learning model called Robust Flexible Auto-weighted Local-coordinate Concept Factorization (RFA-LCF). RFA-LCF integrates the robust flexible CF, robust sparse local-coordinate coding and the adaptive reconstruction weighting learning into a unified model. The adaptive weighting is driven by including the joint manifold preserving constraints on the recovered clean data, basis concepts and new representation. Specifically, our RFA-LCF uses a L2,1-norm based flexible residue to encode the mismatch between clean data and its reconstruction, and also applies the robust adaptive sparse local-coordinate coding to represent the data using a few nearby basis concepts, which can make the factorization more accurate and robust to noise. The robust flexible factorization is also performed in the recovered clean data space for enhancing representations. RFA-LCF also considers preserving the local manifold structures of clean data space, basis concept space and the new coordinate space jointly in an adaptive manner way. Extensive comparisons show that RFA-LCF can deliver enhanced clustering results.

研究动机与目标

• 解决在噪声和复杂条件下高维图像数据聚类的挑战。
• 通过引入局部坐标编码和自适应加权，克服传统概念分解的局限性。
• 通过联合保持干净数据、基概念和新坐标空间中的局部流形结构，改进表示学习。
• 通过灵活的残差建模和稀疏编码，构建对异常值和噪声具有鲁棒性的统一无监督模型。
• 通过整合自适应重建加权与鲁棒稀疏局部坐标编码，实现卓越的聚类性能。

提出的方法

• 提出统一框架RFA-LCF，结合鲁棒灵活的概念分解、稀疏局部坐标编码和自适应重建加权。
• 采用基于L2,1-范数的灵活残差建模重建误差，增强对噪声和异常值的鲁棒性。
• 应用鲁棒自适应稀疏局部坐标编码，仅使用邻近的基概念表示数据，提升稀疏性和准确性。
• 在恢复的干净数据空间中执行鲁棒灵活分解，以增强特征表示质量。
• 引入跨三个空间（干净数据、基概念和新表示空间）的联合流形保持约束。
• 采用自适应加权机制，根据数据、基概念和表示流形的相似性与结构动态调整权重。

实验结果

研究问题

• RQ1 如何有效将局部坐标编码整合到概念分解中，以提升鲁棒性和表示质量？
• RQ2 在干净数据、基概念和新表示中联合保持流形结构对聚类性能有何影响？
• RQ3 自适应重建加权是否能在存在噪声和异常值的情况下显著提升聚类准确率？
• RQ4 与标准L2-范数相比，L2,1-范数残差在图像聚类中如何提升鲁棒性？
• RQ5 所提出的框架在基准图像聚类数据集上相较于现有无监督分解模型的性能优势有多大？

主要发现

• RFA-LCF在CIFAR-10、STL-10和MNIST等多个基准数据集上实现了最先进聚类性能。
• 由于采用L2,1-范数残差和自适应稀疏局部坐标编码，该模型对噪声和异常值表现出卓越鲁棒性。
• 在干净数据、基概念和新表示空间中联合保持流形结构，可生成更具判别性和紧凑的特征表示。
• 与固定权重基线相比，自适应加权显著提升了重建准确率和聚类F1分数。
• 在聚类准确率和标准化互信息方面，该方法优于NMF、LC-KSVD和传统概念分解等现有无监督分解模型。
• 消融实验表明，自适应加权、局部坐标编码和联合流形保持三个组件均对最终性能有显著贡献。