[论文解读] On Unifying Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization

Yuan Xie, Dacheng Tao+4 more|arXiv (Cornell University)|Oct 23, 2016

Tensor decomposition and applications参考文献 46被引用 7

一句话总结

该论文提出了一种新型多视角子空间聚类方法 t-SVD-MSC，通过使用 t-奇异值分解（t-SVD）进行张量多元秩最小化，统一各视角的特定自表示。通过将不同视角的子空间表示堆叠成一个张量并应用基于 t-SVD 的低秩约束，该方法有效捕捉了高阶相关性，并在八组基准数据集上实现了最先进的聚类性能，兼具理论收敛性与低计算成本。

ABSTRACT

In this paper, we address the multi-view subspace clustering problem. Our method utilizes the circulant algebra for tensor, which is constructed by stacking the subspace representation matrices of different views and then rotating, to capture the low rank tensor subspace so that the refinement of the view-specific subspaces can be achieved, as well as the high order correlations underlying multi-view data can be explored.} By introducing a recently proposed tensor factorization, namely tensor-Singular Value Decomposition (t-SVD) \cite{kilmer13}, we can impose a new type of low-rank tensor constraint on the rotated tensor to capture the complementary information from multiple views. Different from traditional unfolding based tensor norm, this low-rank tensor constraint has optimality properties similar to that of matrix rank derived from SVD, so the complementary information among views can be explored more efficiently and thoroughly. The established model, called t-SVD based Multi-view Subspace Clustering (t-SVD-MSC), falls into the applicable scope of augmented Lagrangian method, and its minimization problem can be efficiently solved with theoretical convergence guarantee and relatively low computational complexity. Extensive experimental testing on eight challenging image dataset shows that the proposed method has achieved highly competent objective performance compared to several state-of-the-art multi-view clustering methods.

研究动机与目标

• 为解决多视角子空间聚类的挑战，在联合优化框架中统一各视角的自表示。
• 通过将子空间表示的集体结构建模为张量，挖掘多视角之间的高阶相关性。
• 克服传统基于展开的张量范数在张量秩逼近中缺乏物理解释性和最优性的问题。
• 通过基于 t-SVD 的张量多元秩最小化，确保视角间的一致性，同时保留互补信息。
• 开发一种高效、收敛且计算复杂度低的算法，适用于大规模多视角聚类。

提出的方法

• 该方法通过沿第三维堆叠各视角的自表示矩阵来构建张量。
• 对张量进行循环旋转，以在傅里叶域中应用 t-SVD 实现多元秩最小化。
• 使用基于 t-SVD 的张量核范数（t-TNN）作为低秩约束，提供一种具有物理解释性且最优的张量低秩逼近。
• 通过增广拉格朗日法求解优化问题，具有理论保证的收敛性。
• 在原始域中推导出基于卷积的管状软阈值算子，其等价于傅里叶域中的软阈值操作，从而实现高效计算。
• 通过促进跨视角的低秩结构，隐式实现噪声过滤，增强一致性与鲁棒性。

实验结果

研究问题

• RQ1 基于 t-SVD 的张量多元秩最小化能否有效统一多视角自表示以提升聚类性能？
• RQ2 所提出的 t-SVD-MSC 方法在聚类准确率和鲁棒性方面是否优于现有方法？
• RQ3 基于 t-SVD 的低秩约束与传统基于展开的张量范数相比，在捕捉高阶相关性方面表现如何？
• RQ4 所提算法在大规模多视角聚类中的计算效率与收敛行为如何？
• RQ5 当某些视角退化或含噪时，该方法是否仍能保持优异性能？

主要发现

• 所提出的 t-SVD-MSC 方法在八组基准数据集（包括 ORL、Yale、Scene-15 和 Caltech-101）上实现了最先进的性能，在标准化互信息（NMI）和聚类准确率方面优于现有方法。
• 在 Scene-15 数据集上，t-SVD-MSC 实现了 89.6% 的聚类准确率和 0.872 的 NMI，显著优于 RMSC、DiMSC 和 LTMSC。
• 该方法对退化视角表现出强鲁棒性，在部分视角被污染或信息量不足时仍保持高性能。
• 与基于 CNN 的聚类方法相比，当使用 CNN 特征作为其中一个视角时，t-SVD-MSC 仍取得具有竞争力的结果，显示出其对现代深度特征的适应能力。
• 该算法收敛迅速，Scene-15 数据集上的 CPU 时间缩短至 27.69 分钟，显著快于 RMSC（187.01 分钟）和 LTMSC（135.68 分钟）。
• 该方法具有理论保证的收敛性，且 t-SVD 的使用使得低秩逼近比传统基于展开的范数更具最优性与可解释性。