[论文解读] Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms

Xingyi Yang, Xuehai He+4 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文对自监督学习（SSL）与迁移学习（TL）在多种数据和任务属性下的表现进行了全面的实证比较。研究发现，当领域差异较大或预训练数据有限时，SSL优于TL；而当源数据集大且平衡、领域差异小时，TL表现更优。本研究为根据应用特性选择预训练方法提供了可操作的指导建议。

ABSTRACT

Pretraining has become a standard technique in computer vision and natural language processing, which usually helps to improve performance substantially. Previously, the most dominant pretraining method is transfer learning (TL), which uses labeled data to learn a good representation network. Recently, a new pretraining approach -- self-supervised learning (SSL) -- has demonstrated promising results on a wide range of applications. SSL does not require annotated labels. It is purely conducted on input data by solving auxiliary tasks defined on the input data examples. The current reported results show that in certain applications, SSL outperforms TL and the other way around in other applications. There has not been a clear understanding on what properties of data and tasks render one approach outperforms the other. Without an informed guideline, ML researchers have to try both methods to find out which one is better empirically. It is usually time-consuming to do so. In this work, we aim to address this problem. We perform a comprehensive comparative study between SSL and TL regarding which one works better under different properties of data and tasks, including domain difference between source and target tasks, the amount of pretraining data, class imbalance in source data, and usage of target data for additional pretraining, etc. The insights distilled from our comparative studies can help ML researchers decide which method to use based on the properties of their applications.

研究动机与目标

• 为解决实践中选择自监督学习（SSL）与迁移学习（TL）时缺乏明确指导的问题。
• 探究数据与任务属性（如领域差异、预训练数据量、类别不平衡以及目标数据使用情况）如何影响SSL与TL的相对性能。
• 为机器学习研究人员提供基于数据的、可操作的建议，以根据具体应用场景选择最优的预训练范式。
• 通过识别系统性因素来减少对经验试错的依赖，明确哪种方法在特定条件下更具优势。

提出的方法

• 在涵盖自然图像、医学影像和场景识别等多样化领域的5个源任务和4个人目标任务上开展了受控实验。
• 系统性地改变四个关键因素：源任务与目标任务之间的领域差异、预训练数据量、源数据中的类别不平衡程度，以及是否使用目标数据进行额外预训练。
• 采用标准评估协议：在源数据上进行预训练，随后在目标数据上微调，测量所有组合下的准确率。
• 在相同的网络架构和训练流程下，对比SSL（如MoCo风格的对比学习）与TL（监督预训练）的表现。
• 评估在极端类别不平衡和领域差异等不同数据条件下，性能的稳定性。
• 分析在源数据与目标数据联合预训练的效果，并与仅用源数据或仅用目标数据预训练的结果进行比较。

实验结果

研究问题

• RQ1 在何种条件下，自监督学习（SSL）优于迁移学习（TL），反之亦然？
• RQ2 源任务与目标任务之间的领域差异如何影响SSL与TL的相对性能？
• RQ3 预训练数据量如何影响SSL与TL的相对有效性？
• RQ4 SSL与TL对源数据集中类别不平衡的敏感性如何？
• RQ5 使用目标任务数据进行额外预训练是否能提升性能？该效果在SSL与TL之间是否存在差异？

主要发现

• 当源任务与目标任务之间的领域差异较大时，SSL优于TL；当领域差异较小时，TL表现更优。
• 在预训练数据量较小时，SSL优于TL；在数据量较大时，TL超越SSL。
• SSL在不同领域差异下的性能更稳定，而TL在高领域差异下表现出显著的性能下降。
• 在小领域差异条件下，SSL对预训练数据量的敏感性低于TL，后者在数据量变化时表现出较大的性能波动。
• SSL对类别不平衡更具鲁棒性：在COVID-CT任务中，SSL在不同不平衡比率下的性能差距为4.3%（绝对值），而TL为6.5%。
• 对于SSL，使用源数据与目标数据联合预训练可提升性能，优于仅用源数据或仅用目标数据预训练；而对于TL，联合预训练表现劣于仅用源数据预训练，因其对目标任务的关注度降低。