[论文解读] On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering

Daniel J. Trosten, Sigurd Løkse+2 more|arXiv (Cornell University)|Mar 17, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了 DeepMVC，一种统一的深度多视图聚类框架，整合了近期方法并支持对自监督与对比对齐的系统性分析。理论与实证结果表明，对比对齐会损害聚类可分性——尤其在视图数量较多时——并提出了六个新的、更优的 DeepMVC 实例，其性能优于先前方法，尤其在高视图数据集上表现突出。

ABSTRACT

Self-supervised learning is a central component in recent approaches to deep multi-view clustering (MVC). However, we find large variations in the development of self-supervision-based methods for deep MVC, potentially slowing the progress of the field. To address this, we present DeepMVC, a unified framework for deep MVC that includes many recent methods as instances. We leverage our framework to make key observations about the effect of self-supervision, and in particular, drawbacks of aligning representations with contrastive learning. Further, we prove that contrastive alignment can negatively influence cluster separability, and that this effect becomes worse when the number of views increases. Motivated by our findings, we develop several new DeepMVC instances with new forms of self-supervision. We conduct extensive experiments and find that (i) in line with our theoretical findings, contrastive alignments decreases performance on datasets with many views; (ii) all methods benefit from some form of self-supervision; and (iii) our new instances outperform previous methods on several datasets. Based on our results, we suggest several promising directions for future research. To enhance the openness of the field, we provide an open-source implementation of DeepMVC, including recent models and our new instances. Our implementation includes a consistent evaluation protocol, facilitating fair and accurate evaluation of methods and components.

研究动机与目标

• 解决深度多视图聚类（MVC）研究中因实现方式、评估协议和超参数选择不一致而导致的缺乏一致性与可复现性问题。
• 识别并分析对比对齐对聚类可分性的负面影响，尤其是在视图数量增加时。
• 设计一个统一框架（DeepMVC），泛化现有 MVC 方法，并支持对组件与模型的公平、一致评估。
• 提出采用改进自监督策略的新 MVC 实例，在多个数据集上超越当前最先进方法。
• 通过发布开源实现与标准化评估协议，推动研究的可复现性与领域进展。

提出的方法

• 将 DeepMVC 设计为包含五个核心组件的模块化框架：视图特定编码器、单视图自监督学习（SV-SSL）、多视图自监督学习（MV-SSL）、特征融合与聚类。
• 通过将现有 MVC 方法的组件映射到框架结构中，将其作为 DeepMVC 的实例进行整合。
• 理论上证明，对比对齐可能降低表示空间中可分聚类的数量，且负面影响随视图数量增加而加剧。
• 利用多种自监督技术开发六个新的 DeepMVC 实例：对比学习、互信息最大化、自编码与熵正则化。
• 在所有模型与数据集上实施一致的评估协议，包括标准化数据划分、超参数搜索与指标（如 NMI）。
• 通过超参数搜索评估模型鲁棒性，并识别敏感配置，如过高的对比损失权重或过低的熵正则化。

实验结果

研究问题

• RQ1 在深度多视图聚类中，对比对齐如何影响聚类可分性，尤其是在视图数量增加时？
• RQ2 在视图数量不同的数据集中，哪种自监督形式最为有效？
• RQ3 统一框架能否提升深度 MVC 研究中的可复现性与公平比较？
• RQ4 采用替代自监督机制的新 DeepMVC 实例是否优于现有 SOTA 方法？
• RQ5 所提出模型对超参数配置的敏感性如何，特别是对比损失权重与熵正则化？

主要发现

• 在视图数量较多的数据集（如 Caltech7）上，对比对齐显著降低聚类性能，当对比损失权重增至 10.0 时，NMI 降至 0.09。
• 在高视图数据集上，互信息最大化优于对比对齐，当熵正则化适当调优时，InfoDDC 在 NoisyMNIST 上达到 0.84 NMI。
• 所有评估方法均从至少一种自监督形式中受益，其中 AECoDDC 在 NoisyMNIST 上达到 0.99 NMI，在 Caltech7 上达到 0.49 NMI（在最优重建权重下）。
• 新提出的 DeepMVC 实例对超参数变化总体具有鲁棒性，但当对比损失权重过高（如 AECoDDC 在 Caltech7 上 NMI 降至 0.19）或熵正则化过低（如 InfoDDC 从 0.94 降至 0.21 NMI）时性能显著下降。
• 该框架支持公平比较：MvSCN 与 Multi-VAE 在新实现中表现出性能差异，表明先前结果可能受预处理与评估方式差异的影响。
• 开源的 DeepMVC 实现与标准化评估协议促进了可复现性，并加速了方法开发，如在多个数据集上实现了稳定且准确的基准测试。