[论文解读] Robust Localized Multi-view Subspace Clustering

Yanbo Fan, Jian Liang+3 more|arXiv (Cornell University)|May 22, 2017

Face and Expression Recognition参考文献 12被引用 11

一句话总结

该论文提出了一种鲁棒的局部多视图子空间聚类（RMSC）模型，该模型在共识表示学习过程中自适应地为样本和视图分配基于置信度的权重。通过利用凸共轭理论来正则化样本权重，并采用高效的迭代算法，RMSC在四个基准数据集上实现了优越的聚类性能，有效处理了噪声和异构的多视图数据，优于当前最先进方法。

ABSTRACT

In multi-view clustering, different views may have different confidence levels when learning a consensus representation. Existing methods usually address this by assigning distinctive weights to different views. However, due to noisy nature of real-world applications, the confidence levels of samples in the same view may also vary. Thus considering a unified weight for a view may lead to suboptimal solutions. In this paper, we propose a novel localized multi-view subspace clustering model that considers the confidence levels of both views and samples. By assigning weight to each sample under each view properly, we can obtain a robust consensus representation via fusing the noiseless structures among views and samples. We further develop a regularizer on weight parameters based on the convex conjugacy theory, and samples weights are determined in an adaptive manner. An efficient iterative algorithm is developed with a convergence guarantee. Experimental results on four benchmarks demonstrate the correctness and effectiveness of the proposed model.

研究动机与目标

• 为解决现有多视图聚类方法对视图内所有样本分配统一权重的局限性，这种做法可能因样本置信度差异而降低性能。
• 在多视图数据中建模视图级别和样本级别的置信度水平，认识到视图中噪声或异常样本的可靠性可能低于干净样本。
• 开发一种自适应加权机制，在优化过程中学习样本权重，而无需预先知晓置信度水平。
• 确保在大规模多视图数据集上的优化过程具有收敛性和计算效率。
• 在真实世界基准数据集上，证明所提模型优于当前最先进多视图聚类方法。

提出的方法

• 为每个视图下的每个样本引入非负权重参数，以反映个体样本的置信度水平，从而实现对噪声或异常样本的选择性抑制。
• 基于凸共轭理论提出一种样本权重正则化项，促进在优化过程中实现自适应且数据驱动的权重分配。
• 采用块坐标下降法设计一种迭代优化算法，以求解非凸优化问题，并提供理论收敛性保证。
• 通过加权平均融合多个视图的自表示矩阵，其中视图级别和样本级别的权重联合优化，以学习鲁棒的共识表示。
• 在共识表示矩阵上引入低秩与稀疏性正则化，以保留潜在的聚类结构。
• 对共识表示使用核范数惩罚，并对自表示矩阵使用L1-范数，以促进稀疏性和低秩结构。

实验结果

研究问题

• RQ1 联合建模样本级别和视图级别置信度是否能提升多视图聚类中的共识表示学习？
• RQ2 基于凸共轭理论的自适应、数据驱动样本加权方案，是否相比固定或视图均匀权重，能实现对噪声和异常值更强的鲁棒性？
• RQ3 所提出的RMSC模型在多样化的现实世界数据集上，相较于当前最先进多视图聚类方法表现如何？
• RQ4 RMSC的优化算法在实际应用中是否高效且收敛，特别是在大规模多视图数据上？
• RQ5 RMSC的性能对超参数的敏感程度如何？是否存在一个稳健的参数空间以实现可靠部署？

主要发现

• 所提出的RMSC模型在四个基准数据集（包括Digit、Reuter等）上始终优于所有对比方法，表现出更优的聚类准确率。
• RMSC在性能上显著优于SSC-AVG和RMSC-WV（后者假设样本权重相等或视图内均匀），证明样本级别置信度建模至关重要。
• 在Digit数据集上，当添加噪声视图（如ZER）时，RMSC仍保持稳定性能，而RMSC-WV和SSC-AVG性能下降，凸显其鲁棒性。
• 所提算法收敛迅速，在Digit和Reuter数据集上，目标函数值在5次迭代内急剧下降。
• 模型对超参数λ和β的敏感度较低，多种取值范围均能获得优异性能，表明其具有实际鲁棒性。
• 样本权重的可视化结果证实，该算法能有效识别并降低噪声或异常样本的权重，与置信度直觉一致。