[论文解读] Semi-supervised Contrastive Learning with Similarity Co-calibration

Yuhang Zhang, Xiaopeng Zhang+4 more|arXiv (Cornell University)|May 16, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种新型端到端框架——半监督对比学习（SsCL），通过联合校准交叉熵分支与对比损失分支的预测结果，提升在少量标注数据下的表征学习性能。通过在两个分支间交替交换伪标签与相似性嵌入，SsCL 在仅使用 1% 标注数据的情况下，于 ImageNet 上实现了 60.2% 的 top-1 准确率，显著优于以往的半监督与自监督方法。

ABSTRACT

Semi-supervised learning acts as an effective way to leverage massive unlabeled data. In this paper, we propose a novel training strategy, termed as Semi-supervised Contrastive Learning (SsCL), which combines the well-known contrastive loss in self-supervised learning with the cross entropy loss in semi-supervised learning, and jointly optimizes the two objectives in an end-to-end way. The highlight is that different from self-training based semi-supervised learning that conducts prediction and retraining over the same model weights, SsCL interchanges the predictions over the unlabeled data between the two branches, and thus formulates a co-calibration procedure, which we find is beneficial for better prediction and avoid being trapped in local minimum. Towards this goal, the contrastive loss branch models pairwise similarities among samples, using the nearest neighborhood generated from the cross entropy branch, and in turn calibrates the prediction distribution of the cross entropy branch with the contrastive similarity. We show that SsCL produces more discriminative representation and is beneficial to few shot learning. Notably, on ImageNet with ResNet50 as the backbone, SsCL achieves 60.2% and 72.1% top-1 accuracy with 1% and 10% labeled samples, respectively, which significantly outperforms the baseline, and is better than previous semi-supervised and self-supervised methods.

研究动机与目标

• 为解决基于交叉熵的半监督学习在 ImageNet 等大规模数据集上因噪声大且缺乏代表性标注而导致性能增益有限的问题。
• 通过将类别特定先验融入对比预训练，改进表征学习，避免采用与任务无关的自监督预训练方法。
• 通过引入两个损失分支间的联合校准机制，克服自训练方法中常见的局部极小值与模型崩溃问题。
• 通过自适应损失加权、自 paced 学习与数据混合策略，提升少样本泛化能力，实现类别特定样本的增强。

提出的方法

• 提出一种联合校准机制，交替利用交叉熵分支的预测结果指导对比分支中的正样本挖掘，反之亦然，以优化预测结果。
• 扩展对比损失，支持每个锚点样本关联多个正样本，通过将特征拉向类别原型，增强表征的判别能力。
• 采用自 paced 学习策略，根据相似性置信度自适应调整损失权重，降低早期训练阶段的噪声影响。
• 采用数据混合策略，在训练过程中融合真实样本与相似样本，以稳健且平滑的方式增强类别特定特征。
• 以端到端方式联合优化交叉熵损失与对比损失，引入可学习的损失权重（λ_ctr, λ_cls），实现动态平衡。
• 使用温度缩放（τ）与基于边距的对比损失（m），提升训练稳定性并改善特征聚类效果。

Figure 1: Comparisons between cross-entropy based semi-supervised learning and our proposed SsCL. The highlight is that we co-calibrate the predictions over the two branches and jointly train the two objectives in an end-to-end way.

实验结果

研究问题

• RQ1 在半监督学习中，通过联合校准交叉熵与对比学习分支的预测结果，能否提升模型泛化能力？
• RQ2 将类别特定先验融入对比学习，是否能获得优于与任务无关的自监督预训练的表征？
• RQ3 联合校准机制能否缓解基于自训练的半监督学习中的局部极小值与模型崩溃问题？
• RQ4 在极端标签稀缺场景下（如 ImageNet 上仅 1% 或 10% 标注数据），该方法表现如何？
• RQ5 对比学习的整合在多大程度上提升了少样本迁移学习性能？

主要发现

• 在使用 ResNet-50 且仅 1% 标注数据的 ImageNet 上，SsCL 实现了 60.2% 的 top-1 准确率，显著优于现有半监督与自监督方法。
• 在 10% 标注数据下，SsCL 在 ImageNet 上达到 72.1% 的 top-1 准确率，表明在中等标签稀缺条件下仍具备强大性能。
• 在线性评估迁移学习中，SsCL 在全部四个基准数据集（CIFAR-10/100、FGVC-Aircraft、Stanford Cars）上均超越自监督基线方法（SimCLR、MoCo v2）。
• 在微调迁移学习中，SsCL 在多数数据集上甚至超过监督基线，表明其学习到的表征具有极强的可迁移性。
• t-SNE 可视化结果表明，SsCL 的特征比 MoCo v2 更紧凑且更具判别性，尽管略逊于完全监督的特征。
• 消融实验表明，联合校准与自适应损失加权显著提升性能，尤其在早期训练阶段（噪声预测较多时）效果更明显。

Figure 2: An overview of our proposed semi-supervised contrastive learning framework. Different from traditional contrastive learning in unsupervised paradigm, the few shot labeled data is utilized for contrastive learning, which targets at learning more discriminative representation in an end-to-en