[论文解读] Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation

Yuheng Jia, Hui Liu+3 more|arXiv (Cornell University)|Apr 30, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 5

一句话总结

本文提出了一种专为多视图谱聚类（MVSC）设计的新型张量低秩范数，通过在对称低秩约束下显式建模视图内块对角相似性结构，并通过结构化稀疏低秩约束实现视图间列稀疏性。该方法在五个基准数据集上优于当前最先进的MVSC方法，实现了更高的聚类准确率，且具有鲁棒且易于调节的超参数。

ABSTRACT

This paper explores the problem of multi-view spectral clustering (MVSC) based on tensor low-rank modeling. Unlike the existing methods that all adopt an off-the-shelf tensor low-rank norm without considering the special characteristics of the tensor in MVSC, we design a novel structured tensor low-rank norm tailored to MVSC. Specifically, we explicitly impose a symmetric low-rank constraint and a structured sparse low-rank constraint on the frontal and horizontal slices of the tensor to characterize the intra-view and inter-view relationships, respectively. Moreover, the two constraints could be jointly optimized to achieve mutual refinement. On the basis of the novel tensor low-rank norm, we formulate MVSC as a convex low-rank tensor recovery problem, which is then efficiently solved with an augmented Lagrange multiplier based method iteratively. Extensive experimental results on five benchmark datasets show that the proposed method outperforms state-of-the-art methods to a significant extent. Impressively, our method is able to produce perfect clustering. In addition, the parameters of our method can be easily tuned, and the proposed model is robust to different datasets, demonstrating its potential in practice.

研究动机与目标

• 为解决现有张量低秩范数在多视图谱聚类（MVSC）中处理张量时缺乏对MVSC特有结构特性的利用，而仅作通用处理的局限性。
• 通过在前向张量切片上施加对称低秩约束，显式建模视图内关系，以反映每个视图内部的块对角相似性模式。
• 通过在水平切片上施加结构化稀疏低秩约束，捕捉视图间关系，强制实现列稀疏性以反映跨视图样本的一致性。
• 联合优化两种约束以实现相互增强，从而在性能上超越通用张量低秩范数。
• 开发一种有效且高效的凸低秩张量恢复框架，对超参数选择具有实际鲁棒性。

提出的方法

• 提出一种新型张量低秩范数（LRTN），结合专为MVSC设计的对称低秩与结构化稀疏低秩约束。
• 在前向切片上施加对称低秩约束，以保持表示视图内相似性的块对角结构。
• 在水平切片上应用列结构化稀疏低秩约束，以建模跨视图的关系。
• 将MVSC公式化为使用所提LRTN的凸优化问题，同时整合两种约束与ℓ2,1-范数以增强鲁棒性。
• 采用增广拉格朗日乘子（ALM）方法结合交替方向法求解优化问题。
• 利用张量奇异值分解（t-SVD）实现高效计算，并有效利用三维张量表示中的低秩结构。

实验结果

研究问题

• RQ1 是否一种专为多视图谱聚类结构特性量身定制的张量低秩范数，能够超越通用张量低秩范数？
• RQ2 对前向和水平张量切片分别施加的对称低秩与结构化稀疏低秩约束，如何协同提升聚类性能？
• RQ3 该方法在具有不同数据特征的多样化数据集上具有多大程度的泛化能力？
• RQ4 该方法对超参数选择的鲁棒性如何？在实际应用中是否易于调节？
• RQ5 所提模型能否作为后处理增强模块，用于不同初始相似矩阵的现有MVSC方法？

主要发现

• 所提方法在五个基准数据集上实现了最先进的聚类性能，显著优于11种现有MVSC方法。
• 在ORL数据集上，当ℓ2,1-范数参数α ∈ [2,7]时，达到最高聚类准确率（ACC），表明其对性能具有显著影响。
• 该方法对正则化参数λ具有鲁棒性，在ORL和Coil20数据集上均在较宽范围（λ ∈ [10,44]）内表现出最优性能。
• 超参数ω₁ ∈ [0.3,0.7]、α ∈ [2,7]和λ ∈ [10,44]在所有数据集上均表现稳定有效，表明其易于调节。
• 消融研究证实，若移除任意正则化项——尤其是前向对称低秩约束——性能将显著下降，验证了各组件的必要性。
• 当作为后处理模块应用于现有方法（如LT-MSC和ETLMC）时，该方法能进一步提升性能，表明其对不同初始相似矩阵具有强大适应性。