[论文解读] Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning

Yifan Zhang, Bryan Hooi+3 more|arXiv (Cornell University)|Feb 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 78被引用 29

一句话总结

本文提出 Core-tuning，一种对比正则化的微调方法，针对对比自监督视觉模型，使用硬样本挖掘和焦点对比损失，以提升下游分类和分割性能。

ABSTRACT

Contrastive self-supervised learning (CSL) has attracted increasing attention for model pre-training via unlabeled data. The resulted CSL models provide instance-discriminative visual features that are uniformly scattered in the feature space. During deployment, the common practice is to directly fine-tune CSL models with cross-entropy, which however may not be the best strategy in practice. Although cross-entropy tends to separate inter-class features, the resulting models still have limited capability for reducing intra-class feature scattering that exists in CSL models. In this paper, we investigate whether applying contrastive learning to fine-tuning would bring further benefits, and analytically find that optimizing the contrastive loss benefits both discriminative representation learning and model optimization during fine-tuning. Inspired by these findings, we propose Contrast-regularized tuning (Core-tuning), a new approach for fine-tuning CSL models. Instead of simply adding the contrastive loss to the objective of fine-tuning, Core-tuning further applies a novel hard pair mining strategy for more effective contrastive fine-tuning, as well as smoothing the decision boundary to better exploit the learned discriminative feature space. Extensive experiments on image classification and semantic segmentation verify the effectiveness of Core-tuning.

研究动机与目标

• 动机：改进对比自监督学习（CSL）模型的微调，以便更好地利用它们的判别特征空间。
• 证明在微调过程中对比损失提供正则化和优化方面的益处。
• 开发带有硬样本挖掘和光滑分类器学习的 Core-tuning，以提升下游性能。
• 展示在图像分类与语义分割，以及领域泛化和鲁棒性方面的有效性。

提出的方法

• 理论分析表明对比损失如何正则化表示学习并优化微调（定理1和定理2）。
• 引入带有面向难样本的混合（hardness-directed mixup）的 Core-tuning，为每个锚创建硬正样本和硬负样本对。
• 在微调过程中使用焦点对比损失，对硬正样本对给予更高权重。
• 投影头 G_c 用于获得归一化的对比特征以便重新加权损失。
• 将交叉熵损失与焦点对比损失结合，并采用基于 Mixup 的数据增强来学习更平滑的分类器。
• 训练目标：最小化 L_ce^m + eta * L_con^f，以及基于混合的分类器训练以增强泛化。

实验结果

研究问题

• RQ1 将对比学习应用于 CSL 模型的微调，是否能在下游任务上优于标准的交叉熵微调？
• RQ2 如何将硬样本挖掘和分类器平滑结合起来，以最大化对比微调的收益？
• RQ3 Core-tuning 是否提升 CSL 模型的领域泛化和对抗鲁棒性？
• RQ4 所提出的方法是否可泛化到不同的架构、预训练方法，以及诸如语义分割等下游任务？

主要发现

• Core-tuning 在多个数据集上显著提升微调性能，相较于 CE-tuning 及其他基线。
• 消融研究表明每个组件（硬对对样本挖掘、焦点损失、基于 Mixup 的混合、以及平滑分类器学习）都对提升有贡献。
• Core-tuning 在使用 MoCo-v2 预训练的 ResNet-50 的9个自然图像数据集上获得更高的平均 top-1 准确率，超过 CE-tuning 及若干基线。
• 该方法在从 CSL 预训练骨干微调时，也提升了 PASCAL VOC 的语义分割性能。
• Core-tuning 展示了在 PACS、VLCS 和 Office-Home 数据集上的更好跨域泛化，并在对抗性设置中表现出鲁棒性（提到对抗训练结果）。