[论文解读] Mutual Contrastive Learning for Visual Representation Learning

Chuanguang Yang, Zhulin An+2 more|arXiv (Cornell University)|Apr 26, 2021

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出互相对照学习（MCL），一种协作框架，通过交互式对比学习（ICL）在多个网络之间实现相互知识迁移，从而增强视觉表征学习。通过最大化网络间互信息的下界，并利用跨网络嵌入生成的软对比分布，MCL在监督学习与自监督学习基准上均实现了稳定的准确率提升，在CIFAR-100上优于先前方法0.67%，在ImageNet上优于0.36%。

ABSTRACT

We present a collaborative learning method called Mutual Contrastive Learning (MCL) for general visual representation learning. The core idea of MCL is to perform mutual interaction and transfer of contrastive distributions among a cohort of networks. A crucial component of MCL is Interactive Contrastive Learning (ICL). Compared with vanilla contrastive learning, ICL can aggregate cross-network embedding information and maximize the lower bound to the mutual information between two networks. This enables each network to learn extra contrastive knowledge from others, leading to better feature representations for visual recognition tasks. We emphasize that the resulting MCL is conceptually simple yet empirically powerful. It is a generic framework that can be applied to both supervised and self-supervised representation learning. Experimental results on image classification and transfer learning to object detection show that MCL can lead to consistent performance gains, demonstrating that MCL can guide the network to generate better feature representations. Code is available at https://github.com/winycg/MCL.

研究动机与目标

• 为解决单网络对比学习的局限性，通过多网络协作学习实现改进。
• 通过网络间相互作用的对比知识迁移，提升特征表征质量。
• 开发一种适用于监督学习与自监督视觉表征学习的通用框架。
• 证明跨网络对比分布比网络内对比分布更具信息量。
• 验证对比分布的相互模仿可提升图像分类与目标检测的下游性能。

提出的方法

• 提出互相对照学习（MCL）作为统一框架，结合普通对比学习（VCL）与交互式对比学习（ICL）。
• 引入ICL，建立来自两个不同网络的嵌入之间的对比相似度分布，最大化它们之间互信息的下界。
• 利用基于跨网络Softmax的对比分布生成的软标签，实现同级网络之间的相互监督。
• 通过对其对比分布进行对齐，实现网络间的相互模仿，将对比分布视为知识蒸馏的软标签。
• 将VCL与ICL整合为单一训练目标，同时利用网络内与网络间对比信号。
• 采用一组具有共享动量编码器的网络，实现在自监督设置下稳定训练与知识迁移。

实验结果

研究问题

• RQ1 多网络之间的互相对照学习是否能超越单网络对比学习，提升视觉表征学习性能？
• RQ2 与网络内对比学习相比，跨网络对比分布聚合在特征质量方面表现如何？
• RQ3 对比分布的相互模仿是否能带来更好的泛化能力与下游性能？
• RQ4 MCL实现性能饱和时，最优网络数量是多少？
• RQ5 MCL能否有效应用于监督学习与自监督表征学习？

主要发现

• 在CIFAR-100上，MCL在多种架构下相较先前SOTA方法MVCL平均提升0.67%准确率。
• 在ImageNet上，MCL使ResNet-18的准确率相比基线提升0.36%，超越先前SOTA。
• 在自监督学习中，MCL使MoCo提升0.59%，MoCoV2提升0.46%，表明其具有广泛适用性。
• 消融实验确认，ICL及其软标签比VCL及其软标签更有效，平均准确率提升0.64%。
• 性能在M=5个网络时趋于饱和，表明在CIFAR-100上五组网络后收益递减。
• T-SNE可视化显示，MCL使各网络的嵌入空间更具判别性且更相似，表明知识迁移有效。