[论文解读] Vision Transformer for Contrastive Clustering

Hua-Bao Ling, Bowen Zhu+4 more|arXiv (Cornell University)|Jun 26, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种用于对比聚类的视觉Transformer（VTCC），这是一种新颖的自监督深度聚类方法，将视觉Transformer（ViT）与对比学习相结合，用于图像聚类。通过使用带有卷积主干的ViT编码器实现稳定的图像块嵌入，并引入两个对比投影头——实例级和聚类级——VTCC在八个数据集上实现了最先进性能，展示了从零开始训练时更高的稳定性和聚类准确率。

ABSTRACT

Vision Transformer (ViT) has shown its advantages over the convolutional neural network (CNN) with its ability to capture global long-range dependencies for visual representation learning. Besides ViT, contrastive learning is another popular research topic recently. While previous contrastive learning works are mostly based on CNNs, some recent studies have attempted to combine ViT and contrastive learning for enhanced self-supervised learning. Despite the considerable progress, these combinations of ViT and contrastive learning mostly focus on the instance-level contrastiveness, which often overlook the global contrastiveness and also lack the ability to directly learn the clustering result (e.g., for images). In view of this, this paper presents a novel deep clustering approach termed Vision Transformer for Contrastive Clustering (VTCC), which for the first time, to our knowledge, unifies the Transformer and the contrastive learning for the image clustering task. Specifically, with two random augmentations performed on each image, we utilize a ViT encoder with two weight-sharing views as the backbone. To remedy the potential instability of the ViT, we incorporate a convolutional stem to split each augmented sample into a sequence of patches, which uses multiple stacked small convolutions instead of a big convolution in the patch projection layer. By learning the feature representations for the sequences of patches via the backbone, an instance projector and a cluster projector are further utilized to perform the instance-level contrastive learning and the global clustering structure learning, respectively. Experiments on eight image datasets demonstrate the stability (during the training-from-scratch) and the superiority (in clustering performance) of our VTCC approach over the state-of-the-art.

研究动机与目标

• 为解决将视觉Transformer（ViT）与对比学习结合用于图像聚类的空白，特别是建模全局结构的问题。
• 通过引入用于图像块提取的卷积主干，改善ViT在自监督对比学习中的训练稳定性。
• 通过双对比投影头联合学习实例级与聚类级表征，以更好地学习聚类结构。
• 证明基于ViT的对比聚类方法在无监督图像聚类中优于基于CNN的方法。
• 为使用ViT架构与对比目标的自监督图像聚类提供一个新基准。

提出的方法

• 使用权重共享视图的视觉Transformer（ViT）编码器作为主干网络，处理每个图像的两个增强视图。
• 卷积主干替代标准的图像块划分操作，通过堆叠的小卷积层提升训练稳定性和表征质量。
• 实例投影头在增强视图之间执行对比学习，以学习实例级表征。
• 聚类投影头基于聚类级分配执行对比学习，以学习全局聚类结构。
• 模型通过联合对比损失端到端训练，结合实例级与聚类级的InfoNCE损失。
• 训练完成后，对最终特征应用K-means聚类进行评估。

Figure 1: Vision Transformer for Contrastive Clustering (VTCC) .

实验结果

研究问题

• RQ1 视觉Transformer能否有效与对比学习结合，以提升无监督图像聚类性能？
• RQ2 使用卷积主干是否能提升ViT在自监督对比聚类中的训练稳定性和性能？
• RQ3 实例级与聚类级对比学习组件如何共同促进最终聚类性能？
• RQ4 所提出的VTCC方法是否在多种图像数据集上优于最先进深度聚类方法？
• RQ5 联合建模全局依赖性（通过ViT）与对比学习是否优于单独使用任一组件？

主要发现

• VTCC在八个真实世界图像数据集上实现了最先进性能，RSOD数据集上的最高NMI达到0.611。
• 卷积主干提升了聚类性能，在RSOD数据集上NMI从0.570提升至0.611，在Chaoyang数据集上从0.365提升至0.373。
• 同时使用实例与聚类投影头可获得最佳聚类性能，RSOD数据集上NMI为0.611，Chaoyang数据集上为0.373，优于单一投影头基线方法。
• ViT-Small架构在性能与效率之间实现了最佳平衡，由于过拟合减少，在小数据集上优于ViT-Base。
• t-SNE可视化显示，随着训练轮次增加，特征分离逐步改善，RSOD数据集上NMI从0轮的0.231提升至500轮的0.611。
• 该方法在从零开始训练时表现出强大的训练稳定性，证实了其在自监督图像聚类中的实用性。