[论文解读] Multi-View Clustering via Semi-non-negative Tensor Factorization

Jing Li, Quanxue Gao+3 more|arXiv (Cornell University)|Mar 29, 2023

Tensor decomposition and applications被引用 4

一句话总结

该论文提出了一种基于半非负tensor分解（Semi-NTF）的新颖多视图聚类方法，将多视图数据建模为锚图的三阶tensor，利用tensor Schatten p-范数正则化来捕捉视图内结构以及视图间的互补信息。该方法在保证收敛至KKT驻点的前提下，实现了最先进水平的聚类性能。

ABSTRACT

Multi-view clustering (MVC) based on non-negative matrix factorization (NMF) and its variants have received a huge amount of attention in recent years due to their advantages in clustering interpretability. However, existing NMF-based multi-view clustering methods perform NMF on each view data respectively and ignore the impact of between-view. Thus, they can't well exploit the within-view spatial structure and between-view complementary information. To resolve this issue, we present semi-non-negative tensor factorization (Semi-NTF) and develop a novel multi-view clustering based on Semi-NTF with one-side orthogonal constraint. Our model directly performs Semi-NTF on the 3rd-order tensor which is composed of anchor graphs of views. Thus, our model directly considers the between-view relationship. Moreover, we use the tensor Schatten p-norm regularization as a rank approximation of the 3rd-order tensor which characterizes the cluster structure of multi-view data and exploits the between-view complementary information. In addition, we provide an optimization algorithm for the proposed method and prove mathematically that the algorithm always converges to the stationary KKT point. Extensive experiments on various benchmark datasets indicate that our proposed method is able to achieve satisfactory clustering performance.

研究动机与目标

• 为解决现有基于NMF的多视图聚类方法将视图独立处理且忽略视间关系的局限性。
• 通过将多视图数据建模为三阶tensor而非降维为矩阵，来保留其空间结构。
• 通过在聚类指示矩阵上应用tensor Schatten p-范数正则化，挖掘视间的互补信息。
• 开发一种具有理论收敛保证的优化算法，收敛至KKT驻点。

提出的方法

• 采用直接交替采样（DAS）策略为每个视图构建锚图，以降低计算复杂度。
• 将所有视图的锚图组合成一个三阶tensor，以保留多视图的空间结构。
• 应用半非负tensor分解（Semi-NTF），并引入单侧正交约束，以增强解的唯一性并提升可解释性。
• 引入tensor Schatten p-范数正则化以近似tensor秩，并捕捉跨视图的聚类结构。
• 开发基于交替方向乘子法（ADMM）的优化算法，并证明其收敛至KKT点。
• 将聚类指示矩阵作为tensor分解的输入，以直接建模聚类分配。

实验结果

研究问题

• RQ1 与基于矩阵的方法相比，基于tensor的建模是否能更有效地捕捉多视图聚类中多视图之间的相互作用？
• RQ2 tensor Schatten p-范数如何有效建模聚类结构并利用视间的互补信息？
• RQ3 具有单侧正交约束的半非负tensor分解模型是否能提升聚类的可解释性与解的唯一性？
• RQ4 所提出的优化算法是否收敛至驻点？在所提出的框架下，该收敛性是否得到理论保证？
• RQ5 使用锚图而非完整亲和矩阵是否能显著降低计算成本，同时不损害聚类性能？

主要发现

• 所提方法在多个基准数据集上实现了最先进水平的聚类性能，优于现有的基于NMF的多视图聚类方法。
• 使用锚图显著降低了计算复杂度，相比完整亲和矩阵方法，提升了效率。
• tensor Schatten p-范数正则化有效捕捉了低秩聚类结构，并增强了对视间互补信息的利用。
• 优化算法被数学证明收敛至KKT驻点，确保了算法的稳定性。
• 所提方法在高维和多视图设置下表现出更优的鲁棒性与聚类精度。