[论文解读] Multi-view Clustering via Deep Matrix Factorization and Partition Alignment

Chen Zhang, Siwei Wang+6 more|arXiv (Cornell University)|May 1, 2021

Face and Expression Recognition参考文献 37被引用 5

一句话总结

该论文提出了一种名为MVC-DMF-PA的新颖多视图聚类方法，通过将深度矩阵分解与划分对齐相结合，联合学习视图特定的表示和共识聚类划分。通过交替优化深度半朴素NMF与通过最优排列实现的划分对齐，该方法在六个基准数据集上实现了最先进性能，具有快速收敛性和对超参数的鲁棒性。

ABSTRACT

Multi-view clustering (MVC) has been extensively studied to collect multiple source information in recent years. One typical type of MVC methods is based on matrix factorization to effectively perform dimension reduction and clustering. However, the existing approaches can be further improved with following considerations: i) The current one-layer matrix factorization framework cannot fully exploit the useful data representations. ii) Most algorithms only focus on the shared information while ignore the view-specific structure leading to suboptimal solutions. iii) The partition level information has not been utilized in existing work. To solve the above issues, we propose a novel multi-view clustering algorithm via deep matrix decomposition and partition alignment. To be specific, the partition representations of each view are obtained through deep matrix decomposition, and then are jointly utilized with the optimal partition representation for fusing multi-view information. Finally, an alternating optimization algorithm is developed to solve the optimization problem with proven convergence. The comprehensive experimental results conducted on six benchmark multi-view datasets clearly demonstrates the effectiveness of the proposed algorithm against the SOTA methods.

研究动机与目标

• 为解决现有多视图聚类方法的局限性，特别是层次化数据表示和视图特定结构的利用不足。
• 通过整合通常在先前工作中被忽略的划分级别信息，改进融合策略。
• 联合优化深度矩阵分解与共识划分学习，以提升聚类性能。

提出的方法

• 对每个视图应用深度半朴素NMF，以学习能捕捉视图特定结构和共享结构的分层、低维基础划分矩阵。
• 通过最优排列聚类分配，最大化与均匀加权基础划分矩阵的对齐度，学习共识划分矩阵。
• 设计了一种交替优化算法，迭代优化深度矩阵分解与共识划分，确保收敛。
• 通过将基础划分学习与共识矩阵优化统一为单一端到端可训练的流水线，实现后期融合。
• 引入正则化项，包括$L_{21}$范数和流形正则化，以提高对异常值的鲁棒性并保持局部几何结构。
• 在优化过程中动态调整视图特定权重，通过强调信息丰富的视图提升聚类准确率。

Figure 1: The illustration of our proposed MVC-DMF-PA. Multiple base partition matrix are obtained by deep semi-NMF firstly. Then a consensus partition matrix is learned by maximizing the alignment of this matrix with a uniformly weighted base partition matrix via optimal permutations. Finally, the

实验结果

研究问题

• RQ1 深度矩阵分解能否有效从多视图数据中提取分层且具有判别性的表示，同时保持视图特定结构？
• RQ2 多个视图之间的划分级别对齐如何在传统特征级融合之外进一步提升共识聚类？
• RQ3 通过交替优化将深度分解与后期融合相结合，是否能带来更快的收敛速度和更优的聚类性能？
• RQ4 所提出方法对超参数（如网络深度和隐藏维度）的敏感性如何？
• RQ5 所提出的框架是否能在多样化的基准多视图数据集上超越最先进方法？

主要发现

• 所提出的MVC-DMF-PA在六个基准数据集上实现了最先进性能，相较于次优方法，ACC提升最高达11.68%，NMI提升最高达15.55%，PUR提升最高达3.47%。
• 该算法收敛迅速，所有数据集的收敛曲线显示其在20次迭代内达到收敛，并在60次迭代后趋于稳定。
• 消融研究证实，更深的网络深度（三层）表现最佳，与单层模型相比，BBCSport数据集上ACC提升达10.6%。
• 参数敏感性分析表明，在$l_2 = 4k$且$l_1$可变时性能最优，表明中间层维度显著影响聚类质量。
• 共识矩阵$\mathbf{H}$的可视化显示，随着迭代进行，聚类结构清晰度逐步提升，证实了对一致划分的有效学习。
• 该方法对超参数变化具有鲁棒性，在不同$l_1$和$l_2$设置下性能下降极小。

Figure 2: The proposed algorithm use t-SNE [ 38 ] on BBC and BBCSport when iterations are 1, 10 and 60, The different colors indicate different classes for each dataset.