[论文解读] What Should Not Be Contrastive in Contrastive Learning

Tete Xiao, Xiao-Long Wang+2 more|arXiv (Cornell University)|Aug 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用 92

一句话总结

该论文提出 Leave-one-out Contrastive Learning (LooC)，一种多头对比学习框架，学习独立的嵌入空间，每个空间对所有增广中的除了一个以外的增广保持不变，从而提高在多样任务上的迁移性、鲁棒性和性能。

ABSTRACT

Recent self-supervised contrastive methods have been able to produce impressive transferable visual representations by learning to be invariant to different data augmentations. However, these methods implicitly assume a particular set of representational invariances (e.g., invariance to color), and can perform poorly when a downstream task violates this assumption (e.g., distinguishing red vs. yellow cars). We introduce a contrastive learning framework which does not require prior knowledge of specific, task-dependent invariances. Our model learns to capture varying and invariant factors for visual representations by constructing separate embedding spaces, each of which is invariant to all but one augmentation. We use a multi-head network with a shared backbone which captures information across each augmentation and alone outperforms all baselines on downstream tasks. We further find that the concatenation of the invariant and varying spaces performs best across all tasks we investigate, including coarse-grained, fine-grained, and few-shot downstream classification tasks, and various data corruptions.

研究动机与目标

• 激发在对比学习中减少对特定任务增广不变性的依赖。
• 开发一个框架，在不人工挑选增广的情况下同时学习增广不变因素和增广变化因素。
• 通过组合嵌入空间，使下游任务能够有选择地使用不同的变化因素。
• 在多样化的下游任务（粗粒度/细粒度、少样本）和损坏设置下评估该方法。
• 在多种增广条件下，展示相对于基线 MoCo 的更好转移性。

提出的方法

• 引入带共有骨干网络和多个嵌入头的 Leave-one-out Contrastive Learning (LooC)。
• 使用一种增广方案生成视图：一个头分离单个增广，而其他头捕捉不变性。
• 投影到共享空间 V，然后投影到嵌入空间 Z0（对所有增广不变）和 Zi（对除第 i 个增广之外的所有增广不变）。
• 优化一个多空间对比目标，使每对增广在其对应头内对齐，同时对比跨所有头的负样本（ Eq. 2 ）。
• 可选地将所有嵌入空间拼接（LooC++），形成更丰富的下游表示。
• 使用 ResNet-50 骨干网络，带两层 MLP 头，以及为每个嵌入空间的 MoCo 风格队列。

实验结果

研究问题

• RQ1 增广引起的不变性如何影响跨任务的下游性能？
• RQ2 多头设置是否能够保留并利用与单个增广相关的信息，同时对其他增广保持鲁棒？
• RQ3 将不变空间与增广特定空间结合是否能提升对多样下游数据集的迁移？
• RQ4 在引入多种增广（包括旋转、颜色抖动和纹理）时，LooC 与标准 MoCo 的对比如何？
• RQ5 基于增广相关特征对现实世界数据损坏鲁棒性的影响是什么？

主要发现

• 在使用多种增广时，LooC 在多个下游任务上优于基线 MoCo。
• LooC 保持并利用增广特定信息，从而在细粒度和少样本任务上取得更好表现。
• LooC++（所有空间拼接）在多样数据集（IN-100、iNat-1k、Flowers-102）上提供了最强的总体增益。
• 仅旋转增广会降低 MoCo 的性能，而 LooC 更好地利用旋转带来的信息增益。
• 纹理增广提升了在 IN-C-100 上的鲁棒性，且旋转与纹理的组合在真实世界和损坏数据集上均获得收益。