[论文解读] What makes instance discrimination good for transfer learning?

Nanxuan Zhao, Zhirong Wu+2 more|arXiv (Cornell University)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用 83

一句话总结

本文分析了为什么实例判别（对比学习）预训练能很好地迁移，指出低/中层表示驱动迁移，来自监督预训练的同类内不变性可能会削弱迁移，以及基于示例的监督可以在跨任务上提高泛化。

ABSTRACT

Contrastive visual pretraining based on the instance discrimination pretext task has made significant progress. Notably, recent work on unsupervised pretraining has shown to surpass the supervised counterpart for finetuning downstream applications such as object detection and segmentation. It comes as a surprise that image annotations would be better left unused for transfer learning. In this work, we investigate the following problems: What makes instance discrimination pretraining good for transfer learning? What knowledge is actually learned and transferred from these models? From this understanding of instance discrimination, how can we better exploit human annotation labels for pretraining? Our findings are threefold. First, what truly matters for the transfer is low-level and mid-level representations, not high-level representations. Second, the intra-category invariance enforced by the traditional supervised model weakens transferability by increasing task misalignment. Finally, supervised pretraining can be strengthened by following an exemplar-based approach without explicit constraints among the instances within the same category.

研究动机与目标

• 理解实例判别的哪些方面能够实现对下游任务的强迁移。
• 识别对比预训练期间学习并迁移的知识。
• 评估数据语义性和图像增强对迁移性能的作用。
• 提出一种保持实例特定信息的监督预训练变体以改善迁移。
• 评估研究结果在多种迁移情景下的通用性（检测、分割、少样本和面部关键点任务）。

提出的方法

• 比较对比学习（基于 MoCo）与监督预训练在下游任务上的效果（VOC07 检测、COCO 检测/分割、Cityscapes 分割）。
• 系统性地研究图像增强对两种预训练范式的迁移性能影响。
• 通过在具有不同语义重叠和规模的数据集上进行训练，研究预训练数据语义的影响。
• 通过检测工具箱和特征反演分析迁移失败和定位精度，以理解学习到了哪些高层信息与哪些低/中层信息。
• 提出一种基于示例的监督预训练目标，利用类别标签过滤真负样本（Exemplar loss），以避免内类变异的塌缩。
• 证明基于示例的监督预训练在提高迁移的同时保持相当的 ImageNet 分类性能。
• 将分析扩展到少样本识别和面部关键点预测以测试普适性。

实验结果

研究问题

• RQ1 实例判别预训练的哪些方面负责实现卓越的迁移性能？
• RQ2 高层语义内容对迁移是否必不可少，还是低/中层表示占主导？
• RQ3 图像增强和数据集语义对比和监督预训练的迁移有何影响？
• RQ4 在不强制类内不变性的前提下，是否可以利用监督来改善迁移？
• RQ5 这些发现是否可推广到其他迁移情景，如少样本学习和面部关键点预测？

主要发现

• 低/中层表示是视觉预训练迁移的主要驱动因素。
• 来自传统监督预训练的类内不变性可能与下游任务不对齐，损害迁移。
• 基于示例的监督预训练（不强制将正样本拉近）在保持 ImageNet 精度竞争力的同时改善迁移。
• 对比预训练在多任务中较监督预训练更受益于强烈的图像增强。
• 在语义内容与目标任务不相似的数据上进行预训练通常不会损害对比迁移，而监督迁移可能在任务语义不一致时下降，除非语义对齐。
• 在少样本识别和面部关键点预测中，基于示例的监督保持迁移性能，甚至可能超过标准监督基线。