[论文解读] With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations

Debidatta Dwibedi, Yusuf Aytar+3 more|arXiv (Cornell University)|Apr 29, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出 NNCLR，一种自监督对比学习方法，该方法使用从学习到的嵌入空间中获取的最近邻作为正样本对，而非数据增强视图。通过利用数据集中语义相似的样本，NNCLR 改进了表示学习，在 ImageNet 线性评估中达到 75.6% 的 top-1 准确率，优于先前的 SOTA 方法，并减少了对复杂数据增强的依赖。

ABSTRACT

Self-supervised learning algorithms based on instance discrimination train encoders to be invariant to pre-defined transformations of the same instance. While most methods treat different views of the same image as positives for a contrastive loss, we are interested in using positives from other instances in the dataset. Our method, Nearest-Neighbor Contrastive Learning of visual Representations (NNCLR), samples the nearest neighbors from the dataset in the latent space, and treats them as positives. This provides more semantic variations than pre-defined transformations. We find that using the nearest-neighbor as positive in contrastive losses improves performance significantly on ImageNet classification, from 71.7% to 75.6%, outperforming previous state-of-the-art methods. On semi-supervised learning benchmarks we improve performance significantly when only 1% ImageNet labels are available, from 53.8% to 56.5%. On transfer learning benchmarks our method outperforms state-of-the-art methods (including supervised learning with ImageNet) on 8 out of 12 downstream datasets. Furthermore, we demonstrate empirically that our method is less reliant on complex data augmentations. We see a relative reduction of only 2.1% ImageNet Top-1 accuracy when we train using only random crops.

研究动机与目标

• 通过超越单视图正样本的实例判别，改进自监督视觉表示学习。
• 通过使用语义上有意义的跨样本正样本，减少对比学习中对复杂数据增强策略的依赖。
• 探究嵌入空间中的最近邻是否可作为有效且多样的正样本，以捕捉类内变化。
• 证明该方法可在下游迁移任务中超越自监督甚至监督预训练的性能。

提出的方法

• 该方法使用从训练数据子集获取的冻结嵌入作为支持集，训练过程中动态更新以维持特征的动态记忆。
• 对于每个输入图像，模型使用余弦相似度在潜在空间中检索其最近邻，将其视为正样本对。
• 在相同图像的增强视图与其支持集中最近邻之间应用对比损失，以鼓励特征相似性。
• 支持集与记忆库和队列不同，其用途是正样本邻居检索，而非负样本特征存储。
• 模型采用动量更新的编码器和预测头进行训练，类似于 SimCLR，但正样本对的来源存在关键差异。
• 该方法在多种设置下进行评估：ImageNet 上的线性评估、使用 1% 标签的半监督学习，以及在 12 个下游数据集上的迁移学习。

实验结果

研究问题

• RQ1 在对比学习中使用数据集中最近邻作为正样本对，是否能相比标准数据增强视图提升表示质量？
• RQ2 NNCLR 是否能缩小自监督与监督预训练在下游任务中的性能差距？
• RQ3 NNCLR 在多大程度上减少了对复杂数据增强策略的依赖？
• RQ4 最近邻的多样性（例如，来自同一类别、相似纹理或上下文）如何影响学习过程与最终性能？
• RQ5 纯粹无监督的最近邻选择策略能否实现接近监督基准（始终选择同类别邻居）的性能？

主要发现

• NNCLR 在 ImageNet 线性评估中达到 75.6% 的 top-1 准确率，相比之前 SOTA 方法提升 3.9%，相比 SimCLR 提升 3.8%。
• 在仅使用 1% ImageNet 标签的半监督学习中，NNCLR 将准确率从 53.8% 提升至 56.5%，表明在标签稀缺条件下具有强大的泛化能力。
• 在 12 个下游迁移学习基准中的 8 个上，NNCLR 的表现优于当前最先进的自监督方法，甚至优于监督预训练特征。
• 仅使用随机裁剪增强（无色彩抖动、Cutout 等），NNCLR 仍达到 73.3% 的 top-1 准确率，相对下降仅 2.1%，表明其对数据增强的依赖显著降低。
• 训练结束时，最近邻准确率（同一 ImageNet 类别）达到 57%，表明模型已学会检索语义相关的样本。
• 当强制仅使用同类别最近邻（基准设置）时，NNCLR 达到 75.8% 的 top-1 准确率，表明通过更优的邻居选择策略仍有进一步提升空间。