[论文解读] Self-Supervised Prototypical Transfer Learning for Few-Shot Classification

Carlos Medina, Arnout Devos+1 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用 27

一句话总结

该论文提出ProtoTransfer，一种用于少样本分类的自监督原型迁移学习方法，通过在原型中心周围聚类无标签图像及其增强数据来预训练度量嵌入。该方法在mini-ImageNet上实现了无监督元学习方法中的最先进性能，并在使用远少于监督方法的标签数量下，取得了与监督方法相当的性能，通过实现大规模预训练和参数化微调，而无需采用基于episode的元学习。

ABSTRACT

Most approaches in few-shot learning rely on costly annotated data related to the goal task domain during (pre-)training. Recently, unsupervised meta-learning methods have exchanged the annotation requirement for a reduction in few-shot classification performance. Simultaneously, in settings with realistic domain shift, common transfer learning has been shown to outperform supervised meta-learning. Building on these insights and on advances in self-supervised learning, we propose a transfer learning approach which constructs a metric embedding that clusters unlabeled prototypical samples and their augmentations closely together. This pre-trained embedding is a starting point for few-shot classification by summarizing class clusters and fine-tuning. We demonstrate that our self-supervised prototypical transfer learning approach ProtoTransfer outperforms state-of-the-art unsupervised meta-learning methods on few-shot tasks from the mini-ImageNet dataset. In few-shot experiments with domain shift, our approach even has comparable performance to supervised methods, but requires orders of magnitude fewer labels.

研究动机与目标

• 通过在预训练阶段减少对标注数据的依赖，降低监督式少样本学习的标注成本。
• 通过利用大规模自监督预训练与原型聚类，弥补无监督元学习方法的性能差距。
• 在标准元学习方法性能因领域偏移而下降的跨领域少样本设置中，实现有效的迁移学习。
• 证明非episode式、自监督的迁移学习方法在结合参数化微调与大规模基础类别预训练时，可达到与监督方法相当的性能。
• 建立一种新的少样本学习范式，将预训练与基于episode的元学习解耦，从而实现对新类别的可扩展且高效的适应。

提出的方法

• 使用自监督对比损失预训练神经嵌入，该损失将同一图像的多个增强视图拉近，并将它们与其它图像推开。
• 在推理过程中，按照原型网络（ProtoNet）方法，将类原型定义为支持集嵌入样本的均值，用于最近邻分类。
• 采用受原型损失和对比学习启发的成对距离损失，将同一图像的增强视图聚类到原始图像嵌入周围。
• 使用标准交叉熵优化对整个网络（或仅最后一层）在少样本支持集上进行参数化微调。
• 在无标签的大规模基础类别上进行训练，仅使用图像增强生成对比学习的正样本对。
• 通过将支持集汇总为类原型，并使用余弦相似度对查询进行分类，将预训练的嵌入迁移到少样本分类任务中。

实验结果

研究问题

• RQ1 自监督预训练结合原型聚类是否能在少样本分类中超越现有无监督元学习方法？
• RQ2 在跨领域少样本设置中，非episode式迁移学习方法是否能通过大规模基础类别预训练超越episode式元学习？
• RQ3 在保持与完全监督方法相当性能的前提下，自监督预训练在多大程度上可减少对标注数据的需求？
• RQ4 基础类别的规模以及参数化微调的使用，在领域偏移下的少样本学习中对性能有何影响？
• RQ5 自监督原型损失是否能有效用于在无监督预训练阶段学习判别性表征？

主要发现

• 在mini-ImageNet上，对于5类1-shot和5-shot分类任务，ProtoTransfer相比最先进无监督元学习方法性能提升4%至8%。
• 在存在领域偏移的CDFSL基准上，ProtoTransfer在预训练阶段完全无需标签的情况下，实现了与完全监督方法相当的性能。
• 消融研究证实，使用远多于通常在episode式元学习中采用的基础类别数量，能显著提升少样本泛化能力。
• 对主干网络进行参数化微调（而非仅微调最后一层）对于在跨领域任务中达到监督方法性能至关重要。
• 该方法在Omniglot数据集上也取得了优异结果，表明其泛化能力超越了ImageNet风格的数据集。
• t-SNE可视化显示，自监督预训练在嵌入空间中生成了分离良好且类一致的聚类，验证了原型聚类目标的有效性。