[论文解读] Multiple Partitions Aligned Clustering

Zhao Kang, Zipeng Guo+5 more|arXiv (Cornell University)|Sep 13, 2019

Advanced Clustering Algorithms Research参考文献 20被引用 15

一句话总结

该论文提出了一种名为多划分对齐聚类（mPAC）的新颖多视图聚类方法，通过旋转矩阵和自适应视权重在统一共识空间中对齐各个视图的划分，实现信息整合。与以往在特征空间中融合数据的方法不同，mPAC直接在划分空间中操作，能够在单一端到端框架中联合优化图学习、谱嵌入与共识聚类，从而在基准数据集上实现显著优于现有方法的最先进性能。

ABSTRACT

Multi-view clustering is an important yet challenging task due to the difficulty of integrating the information from multiple representations. Most existing multi-view clustering methods explore the heterogeneous information in the space where the data points lie. Such common practice may cause significant information loss because of unavoidable noise or inconsistency among views. Since different views admit the same cluster structure, the natural space should be all partitions. Orthogonal to existing techniques, in this paper, we propose to leverage the multi-view information by fusing partitions. Specifically, we align each partition to form a consensus cluster indicator matrix through a distinct rotation matrix. Moreover, a weight is assigned for each view to account for the clustering capacity differences of views. Finally, the basic partitions, weights, and consensus clustering are jointly learned in a unified framework. We demonstrate the effectiveness of our approach on several real datasets, where significant improvement is found over other state-of-the-art multi-view clustering methods.

研究动机与目标

• 解决在视图间存在噪声和不一致性时整合多视图数据的挑战。
• 克服现有多视图聚类方法在特征空间中融合信息的局限性，这些方法可能因噪声导致信息损失。
• 开发一个统一的端到端框架，联合学习视特定划分、共识聚类和对齐变换。
• 通过在划分空间中操作，提升聚类的鲁棒性和性能，因为共享的聚类结构在此空间中更稳定，受视特定噪声的影响更小。
• 通过在共识学习过程中为每个视图分配自适应权重，反映其可靠性或聚类能力，以应对视图间聚类容量的差异。

提出的方法

• 该方法将每个视图的聚类划分建模为离散指示矩阵，并通过每个视图独有的旋转矩阵将其对齐到共享的共识聚类矩阵。
• 通过统一的目标函数联合优化共识聚类矩阵、视特定旋转矩阵和视权重，以促进划分对齐与共识形成。
• 将图构建与谱嵌入整合到框架中，使共识聚类能够迭代地引导图学习。
• 为每个视图应用旋转矩阵，将个体划分变换到共识空间，从而灵活对齐异构的聚类结构。
• 学习自适应视权重，以反映每个视图的可靠性或聚类能力，提升对噪声或弱视图的鲁棒性。
• 整个框架采用迭代优化策略进行端到端训练，交替更新共识聚类、旋转矩阵和视权重。

实验结果

研究问题

• RQ1 在共享共识空间中对齐多视图划分是否能相比特征空间融合提升聚类性能？
• RQ2 与传统特征空间方法相比，在划分空间中操作是否能降低对视图间噪声和不一致性的敏感性？
• RQ3 统一的、端到端框架是否能通过联合优化图学习、谱嵌入与共识聚类，超越两阶段或多阶段方法？
• RQ4 使用视特定旋转矩阵和自适应权重在对齐跨视图的多样化聚类结构方面是否有效？
• RQ5 所提出方法是否对参数变化具有鲁棒性，并能在不同数据集上实现稳定性能？

主要发现

• mPAC在四个基准数据集上实现了最先进性能，包括Caltech7、Caltech20和手写数字数据集，在F值、NMI和ARI指标上均优于现有多视图聚类方法。
• 在Caltech20数据集上，mPAC的F值达到0.7473，超过第二名方法AMGL（0.7404），显著优于k-means和基于NMF的方法。
• 在手写数字数据集上，mPAC的F值达到0.7473，精确率为0.7348，召回率为0.7200，展现出优异的聚类质量。
• 该方法在不同参数设置下表现出高度稳定性，尤其在γ增大时表现更优，表明对超参数变化具有鲁棒性。
• 通过t-SNE生成的可视化结果表明，即使单个视图的划分表现不佳，mPAC仍能生成结构清晰且分离良好的聚类，凸显其在划分空间中的可靠性。
• 消融研究证实，划分对齐至关重要，若去除对齐或未正确优化，性能将显著下降。