[论文解读] RegionCL: Can Simple Region Swapping Contribute to Contrastive Learning?

Yufei Xu, Qiming Zhang+2 more|arXiv (Cornell University)|Nov 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用 9

一句话总结

RegionCL 提出了一种新颖的对比学习框架，通过利用交换图像对中裁剪区域（paste）和剩余区域（canvas）来构建额外的区域级正负对比对。通过将这些区域级信号整合到现有的自监督学习方法（如 MoCov2、DenseCL 和 SimSiam）中，RegionCL 在图像分类、目标检测和语义分割任务中均实现了最先进性能，在 ImageNet 上准确率提升 2–5%，在 MS COCO 上 mAP 提升 0.8–1.0。

ABSTRACT

Self-supervised methods (SSL) have achieved significant success via maximizing the mutual information between two augmented views, where cropping is a popular augmentation technique. Cropped regions are widely used to construct positive pairs, while the left regions after cropping have rarely been explored in existing methods, although they together constitute the same image instance and both contribute to the description of the category. In this paper, we make the first attempt to demonstrate the importance of both regions in cropping from a complete perspective and propose a simple yet effective pretext task called Region Contrastive Learning (RegionCL). Specifically, given two different images, we randomly crop a region (called the paste view) from each image with the same size and swap them to compose two new images together with the left regions (called the canvas view), respectively. Then, contrastive pairs can be efficiently constructed according to the following simple criteria, i.e., each view is (1) positive with views augmented from the same original image and (2) negative with views augmented from other images. With minor modifications to popular SSL methods, RegionCL exploits those abundant pairs and helps the model distinguish the regions features from both canvas and paste views, therefore learning better visual representations. Experiments on ImageNet, MS COCO, and Cityscapes demonstrate that RegionCL improves MoCo v2, DenseCL, and SimSiam by large margins and achieves state-of-the-art performance on classification, detection, and segmentation tasks. The code will be available at https://github.com/Annbless/RegionCL.git.

研究动机与目标

• 探究在对比自监督学习中，裁剪区域和剩余图像区域所蕴含的未被发掘的表征潜力。
• 解决现有对比学习方法中对裁剪后剩余区域利用不足的问题。
• 提出一种简单而有效的掩码预训练任务，同时利用实例级和区域级的对比信号。
• 通过在实例和区域两个层级丰富对比监督信号，提升视觉表征学习能力。
• 仅对现有自监督学习框架进行最小修改，实现在多个下游任务中的最先进性能。

提出的方法

• RegionCL 从两张不同图像中随机裁剪相同大小的区域并进行互换，形成新的合成图像，生成 canvas 和 paste 视图。
• 基于简单准则构建对比对：若视图来自同一原始图像，则为正样本；若来自不同图像，则为负样本。
• 该方法生成大量区域级正样本对（如来自同一图像的 canvas 和 paste 视图）和负样本对（如一个图像的 canvas 与另一图像的 paste 视图）。
• 该方法与现有自监督学习框架（如 MoCov2、DenseCL 和 SimSiam）兼容，仅需对网络结构进行少量修改即可引入区域级特征。
• 通过共享编码器和投影头提取区域级特征，使用掩码池化机制在特征提取过程中聚焦特定区域。
• 框架保留原始损失函数（如对比损失、密集对应损失），同时在区域层级增加新的正样本对。

实验结果

研究问题

• RQ1 裁剪后剩余的图像区域是否能对自监督表征学习产生有意义的贡献？
• RQ2 通过区域互换方式同时利用裁剪区域和剩余区域，是否能提升特征表示质量？
• RQ3 能否在不进行大规模架构修改的前提下，将简单的区域级对比学习策略有效集成到现有自监督学习框架中？
• RQ4 在包含分类、检测和分割等下游任务中，区域级对比信号的引入是否能带来性能提升？
• RQ5 在多种视觉任务中，RegionCL 与当前最先进自监督学习方法相比，在性能和泛化能力方面表现如何？

主要发现

• 当应用于 MoCov2、DenseCL 和 SimSiam 时，RegionCL 在 ImageNet 上将线性分类准确率提升了 2–5%。
• 在相同基础模型下，RegionCL 在 MS COCO 数据集上的目标检测性能提升了 0.8–1.0 mAP。
• 该方法在图像分类、目标检测和语义分割任务中均达到最先进性能，展现出在多样化下游任务中的强大泛化能力。
• 性能提升在多种主干网络架构和自监督学习框架中保持一致，表明其具有广泛的适用性和鲁棒性。
• RegionCL 仅通过最小化对现有自监督方法的修改即实现性能增益，凸显其简洁性与兼容性。
• 消融实验确认，区域级对比信号至关重要，移除后性能出现显著下降。