[论文解读] On Mutual Information in Contrastive Learning for Visual Representations

Mike Wu, Chengxu Zhuang+3 more|arXiv (Cornell University)|May 27, 2020

Advanced Image and Video Retrieval Techniques参考文献 19被引用 49

一句话总结

本论文從信息論角度看對比學習，顯示IR、LA、CMC及相關方法是在圖像視圖之間的互信息的下界；它引入靈活的負樣本策略（VINCE、BALL、RING、CAVE）並展示在視覺任務的轉移性能上有所提升。

ABSTRACT

In recent years, several unsupervised, "contrastive" learning algorithms in vision have been shown to learn representations that perform remarkably well on transfer tasks. We show that this family of algorithms maximizes a lower bound on the mutual information between two or more "views" of an image where typical views come from a composition of image augmentations. Our bound generalizes the InfoNCE objective to support negative sampling from a restricted region of "difficult" contrasts. We find that the choice of negative samples and views are critical to the success of these algorithms. Reformulating previous learning objectives in terms of mutual information also simplifies and stabilizes them. In practice, our new objectives yield representations that outperform those learned with previous approaches for transfer to classification, bounding box detection, instance segmentation, and keypoint detection. % experiments show that choosing more difficult negative samples results in a stronger representation, outperforming those learned with IR, LA, and CMC in classification, bounding box detection, instance segmentation, and keypoint detection. The mutual information framework provides a unifying comparison of approaches to contrastive learning and uncovers the choices that impact representation learning.

研究动机与目标

• 通过互信息（MI）界限，为对比视觉表征学习提供统一的信息理论视角。
• 展示数据增强（视图）和负样本选择如何关键影响表示质量。
• 推导并分析下界（InfoNCE 与 VINCE），并将其与现有方法（IR、LA、CMC、SimCLR）联系起来。
• 提出并评估新的负样本策略（BALL、RING、CAVE）以及退火以提高转移性能。

提出的方法

• 将对比目标表述为MI估计量，包括对InfoNCE的一般化以允许从受限分布中采样负样本（VINCE）。
• 在扩展的视图与记忆库形式下，证明IR与CMC等价于InfoNCE，并将IR简化为无记忆体（IR-nce）版本以提高稳定性。
• 引入并分析BALL、RING和CAVE等负样本方案，这些方案从围绕当前视图的受限区域（球/环）中采样负样本。
• 提出对负分布参数进行退火以平衡学习信号与稳定性。
• 将局部聚合（LA）与VINCE联系起来，并推导出在何种条件下LA对加权视图集合之间的MI成立下限。
• 给出实用变体（LA-nce、BALL Lab 等），并展示它们如何与稳定性与性能相关。

实验结果

研究问题

• RQ1 不同的视图（增强）选择如何影响对比学习中学习得到的表示质量？
• RQ2 负样本分布如何影响互信息界限及下游转移性能？
• RQ3 是否可以在基于互信息的目标下统一IR、LA和CMC，以及从该视角涌现出哪些实际变体？
• RQ4 与标准InfoNCE相比，受限的（ball/ring/cave）负样本策略是否能改善图像分类与检测等转移任务？
• RQ5 退火在负样本分布中的作用是什么，以稳定和提升学习？

主要发现

• 互信息视角表明IR、LA、CMC和SimCLR是在图像视图之间的互信息的下界，InfoNCE是主要估计量。
• 更难、更具信息量的负样本（BALL、RING、CAVE）在CIFAR10、基于ImageNet和COCO的任务上相对于IR-nce提高了转移性能。
• 将IR简化为InfoNCE可提高稳定性，有时也提升性能；在某些设定下可以移除记忆库而不损失性能。
• 引入变分负采样（VINCE）为LA与MI之间建立新联系提供可能，并显示LA被BALL/VINCE所界限。
• 对负样本分布进行退火进一步提升结果，在多项转移任务中达到与最先进方法相竞争的性能。
• 报道的最佳变体（如RING Lab+s-neigh+anneal）在若干任务上优于IR、LA和CMC。