[论文解读] Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations

Mahmoud Assran, Nicolas Ballas+2 more|arXiv (Cornell University)|Jun 18, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出 SuNCEt，一种半监督对比学习损失，结合噪声对比估计（NCE）与邻域成分分析（NCA），在预训练过程中利用极少的标注数据。通过在训练早期引入少量监督信号，SuNCEt 加速了收敛速度，使得在预训练计算量不足先前对比方法一半的情况下，仍能达到 ImageNet 上的最先进性能。

ABSTRACT

We investigate a strategy for improving the efficiency of contrastive learning of visual representations by leveraging a small amount of supervised information during pre-training. We propose a semi-supervised loss, SuNCEt, based on noise-contrastive estimation and neighbourhood component analysis, that aims to distinguish examples of different classes in addition to the self-supervised instance-wise pretext tasks. On ImageNet, we find that SuNCEt can be used to match the semi-supervised learning accuracy of previous contrastive approaches while using less than half the amount of pre-training and compute. Our main insight is that leveraging even a small amount of labeled data during pre-training, and not only during fine-tuning, provides an important signal that can significantly accelerate contrastive learning of visual representations. Our code is available online at github.com/facebookresearch/suncet.

研究动机与目标

• 解决视觉表示学习中对比自监督预训练的高计算成本问题。
• 探究在预训练阶段而非仅在微调阶段引入少量标注数据，是否能加速学习过程。
• 设计一种新型半监督损失函数，以提升收敛速度，且不增加超参数调优或内存开销。
• 在减少预训练计算量与数据效率的前提下，实现 ImageNet 上的最先进半监督准确率。

提出的方法

• 提出 SuNCEt，一种结合噪声对比估计（NCE）与邻域成分分析（NCA）的对比损失，用于在预训练过程中区分不同类别间的表示。
• 在预训练阶段使用少量标注子集来引导对比目标，从而加速高质量表示的学习。
• 将 SuNCEt 损失与现有对比框架（如 SimCLR 和 SwAV）结合，保持与标准数据增强和编码器架构的兼容性。
• 采用归一化的温度缩放交叉熵损失进行实例级判别，正样本对来自数据增强视图，负样本来自批次中其他图像。
• 通过依赖基于 NCE 的估计而非完整的 NCA 计算，避免存储完整嵌入张量带来的内存开销。
• 在预训练阶段将标注样本视为正样本对，使模型能更早学习到类别级别的结构。

实验结果

研究问题

• RQ1 在预训练阶段引入少量标注数据，是否能显著加速对比表示学习？
• RQ2 在训练流程中更早整合监督信号，是否能减少所需预训练计算量，同时保持或提升最终准确率？
• RQ3 与标准对比损失及其他半监督方法相比，SuNCEt 在收敛速度与最终性能方面表现如何？
• RQ4 SuNCEt 是否能有效与现有对比框架（如 SimCLR 和 SwAV）结合，而无需进行超参数调优？

主要发现

• SuNCEt 在使用少于一半预训练计算量和训练轮次的情况下，实现了与先前最先进对比方法相当的半监督 ImageNet top-5 准确率。
• 在 ImageNet 上使用 10% 标注数据时，SuNCEt 与 SwAV 结合实现了最先进 top-5 准确率，优于使用 RandAugment 的 FixMatch。
• 该方法无需超参数调优，且在不同批量大小与数据增强策略下均保持一致性能。
• 即使在预训练阶段仅引入少量标注数据，也能显著加速收敛，减少对长时间预训练的依赖。
• 当与更大批量和每锚点更多正样本结合时，SuNCEt 在基线对比方法上表现更优，显示出其可扩展优势。