[论文解读] Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need?

Yonglong Tian, Yue Wang+3 more|arXiv (Cornell University)|Mar 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 88

一句话总结

一个简单基线，在合并元训练数据上预训练一个强嵌入，冻结它，并为每个任务训练一个线性分类器，可以超越许多元学习方法；自蒸馏进一步提升性能。

ABSTRACT

The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or self-supervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of self-distillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms. Code is available at: http://github.com/WangYueFt/rfs/.

研究动机与目标

• 推动重新思考小样本图像分类基准及元学习算法的作用。
• 研究一个学习到的嵌入是否能超越复杂的元学习方法。
• 提出一个简单的基线：在合并的元训练数据上预训练嵌入，并在其上训练一个线性分类器。
• 证明自蒸馏还能进一步提高性能。
• 证明自监督嵌入在小样本任务中可与监督嵌入相匹配。

提出的方法

• 将所有元训练任务合并为一个单独的大型分类任务，以通过合并数据的交叉熵损失来学习嵌入 f_phi。
• 冻结该嵌入，在元测试阶段在固定嵌入之上训练一个线性基础学习器（如逻辑回归）。
• 可选地应用自蒸馏（再诞生策略）以生成多代嵌入并对代际之间的知识进行蒸馏。
• 在冻结嵌入之上评估基础学习器，如逻辑回归、最近邻和基于余弦相似度的分类器。
• 比较有监督与自监督的预训练嵌入在下游小样本任务中的表现。

实验结果

研究问题

• RQ1 一个固定且学得良好的嵌入是否能在小样本分类中胜过最先进的元学习算法？
• RQ2 在合并的元训练集上进行预训练是否就足够，无需在元测试数据上进行微调？
• RQ3 按顺序进行自蒸馏是否在不同数据集和骨干网络上都能持续提升小样本性能？

主要发现

• 一个具有固定嵌入的简单基线常常以较大幅度超越先前的元学习方法。
• 在若干基准上，自蒸馏在简单基线基础上平均再提升约2–3%。
• 通过最先进的自监督方法学得的嵌入，在小样本任务中可以达到与监督嵌入相近的性能。
• 在 Meta-Dataset 上，该方法平均超越先前最佳结果超过7%。
• 无论是小型（ConvNet）还是大型（ResNet）骨干网络，嵌入都带来收益；更好的嵌入是提升性能的关键。