[论文解读] Object-aware Contrastive Learning for Debiased Scene Representation

Sangwoo Mo, Hyunwoo Kang+3 more|arXiv (Cornell University)|Jul 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 79被引用 16

一句话总结

本文提出了一种物体感知的对比学习框架，通过利用对比类激活图（ContraCAM）进行无监督物体定位，并引入两种新型数据增强方法——物体感知随机裁剪和背景混合，以减少自监督表示学习中的场景偏差。该方法在多物体、背景变化和分布偏移的基准测试中提升了泛化能力，在 COCO、Background Challenge 和 ImageNet-Sketch 上实现了最先进的性能，准确率显著提升。

ABSTRACT

Contrastive self-supervised learning has shown impressive results in learning visual representations from unlabeled images by enforcing invariance against different data augmentations. However, the learned representations are often contextually biased to the spurious scene correlations of different objects or object and background, which may harm their generalization on the downstream tasks. To tackle the issue, we develop a novel object-aware contrastive learning framework that first (a) localizes objects in a self-supervised manner and then (b) debias scene correlations via appropriate data augmentations considering the inferred object locations. For (a), we propose the contrastive class activation map (ContraCAM), which finds the most discriminative regions (e.g., objects) in the image compared to the other images using the contrastively trained models. We further improve the ContraCAM to detect multiple objects and entire shapes via an iterative refinement procedure. For (b), we introduce two data augmentations based on ContraCAM, object-aware random crop and background mixup, which reduce contextual and background biases during contrastive self-supervised learning, respectively. Our experiments demonstrate the effectiveness of our representation learning framework, particularly when trained under multi-object images or evaluated under the background (and distribution) shifted images.

研究动机与目标

• 为解决对比自监督表示学习中上下文和背景偏差的问题，即模型学习到物体与场景之间的虚假相关性。
• 开发一种无需边界框标注的自监督物体定位方法，实现在预训练过程中缓解偏差。
• 在分布偏移条件下提升泛化能力，特别是针对形状偏差和受损图像分布。
• 在多物体和分布外设置下，提升下游任务（如分类和检测）的性能。

提出的方法

• 提出 ContraCAM，一种对比自监督方法，通过在不同图像间对比特征来识别判别性图像区域，实现在无标注条件下进行物体定位。
• 引入迭代优化过程，扩展 ContraCAM 以检测多个物体和完整形状。
• 设计物体感知随机裁剪，通过以检测到的物体为中心裁剪图像块，减少混合物体-背景区域带来的上下文偏差。
• 提出背景混合，一种基于 ContraCAM 掩码将不同图像的背景混合的数据增强方法，以减少背景偏差。
• 利用 ContraCAM 生成的掩码，在对比学习过程中掩蔽检测到的物体，以构建有效的负样本。
• 将该框架应用于 MoCov2 和 BYOL，证明其在多种对比学习方案中均具有兼容性和性能提升。

实验结果

研究问题

• RQ1 通过对比特征比较进行自监督物体定位，能否有效减少对比表示学习中的场景偏差？
• RQ2 物体感知随机裁剪和背景混合增强方法在背景和分布偏移条件下如何提升泛化能力？
• RQ3 ContraCAM 在无监督条件下对多个物体和完整形状的定位能力如何？其对表示质量有何影响？
• RQ4 与标准对比学习相比，所提出方法是否能提升在多物体和分布外数据集上的下游性能？
• RQ5 该框架是否能在 MoCov2 和 BYOL 等不同对比学习架构上实现良好泛化？

主要发现

• 在 COCO 数据集上，该方法相较于 MoCov2 和 BYOL 分别将线性评估准确率提升了 7.8% 和 4.5%，在多物体场景中表现出色。
• 在 Background Challenge 数据集上，使用 MoCov2 时模型达到 65.55% 的 top-1 准确率，使用 BYOL 时达到 64.59%，显著优于基线模型，有效减少了由背景驱动的误分类。
• 在 ImageNet-Sketch（形状偏差分布偏移）上，使用 MoCov2 时准确率为 62.25%，使用 BYOL 时为 64.59%，表明对基于形状的分布偏移具有鲁棒性。
• 在 ObjectNet-9（分布偏移）上，BG-Mixup (CAM) 使用 MoCov2 时准确率为 29.28%，使用 BYOL 时为 31.38%，优于标准增强方法，展现出强大的泛化能力。
• 在 SI-Score-9（背景偏移）上，BG-Mixup (CAM) 使用 MoCov2 时准确率为 63.50%，使用 BYOL 时为 62.77%，表明对背景偏差具有有效的缓解作用。
• 尽管是自监督且结构简单，ContraCAM 的定位性能与监督 CAM 及最先进的无监督方法相当。