[论文解读] Self-Supervised Learning For Few-Shot Image Classification

Da Chen, Yuefeng Chen+4 more|arXiv (Cornell University)|Nov 14, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用 26

一句话总结

本文提出了一种用于少样本图像分类的自监督学习（SSL）预训练策略，通过使用大规模嵌入网络在无标签数据上学习鲁棒且可迁移的表征，随后通过元学习进行微调。该方法在MiniImageNet和CUB数据集上实现了最先进性能，在CUB上将1-shot准确率提升了近9%，在跨域基准上提升了15%，这得益于在SSL预训练阶段利用大规模无标签数据。

ABSTRACT

Few-shot image classification aims to classify unseen classes with limited labelled samples. Recent works benefit from the meta-learning process with episodic tasks and can fast adapt to class from training to testing. Due to the limited number of samples for each task, the initial embedding network for meta-learning becomes an essential component and can largely affect the performance in practice. To this end, most of the existing methods highly rely on the efficient embedding network. Due to the limited labelled data, the scale of embedding network is constrained under a supervised learning(SL) manner which becomes a bottleneck of the few-shot learning methods. In this paper, we proposed to train a more generalized embedding network with self-supervised learning (SSL) which can provide robust representation for downstream tasks by learning from the data itself. We evaluate our work by extensive comparisons with previous baseline methods on two few-shot classification datasets ({\em i.e.,} MiniImageNet and CUB) and achieve better performance over baselines. Tests on four datasets in cross-domain few-shot learning classification show that the proposed method achieves state-of-the-art results and further prove the robustness of the proposed model. Our code is available at \hyperref[https://github.com/phecy/SSL-FEW-SHOT.]{https://github.com/phecy/SSL-FEW-SHOT.}

研究动机与目标

• 解决在训练深度嵌入网络时，由于小规模监督数据集导致的过拟合问题，从而引发少样本学习的性能瓶颈。
• 通过用自监督学习（SSL）替代监督预训练，提升嵌入网络在少样本分类中的泛化能力和可迁移性。
• 探究大规模SSL预训练是否能有效提升在域内和跨域少样本学习场景下对未见类别的适应能力。
• 证明SSL预训练使得更大、更具表达能力的网络能够被有效应用于少样本学习，从而克服监督微调的局限性。

提出的方法

• 在大规模无标签数据上使用自监督学习（SSL）预训练深度嵌入网络，采用对比性代理任务，以最大化同一图像不同增强视图之间的互信息。
• 采用大容量网络架构（如ResNet-12或其扩展变体）作为嵌入主干网络，SSL预训练使其免于过拟合，从而实现可行性。
• 通过元学习中的 episodic 微调方式对预训练的嵌入网络进行微调，每个episode模拟一个少样本分类任务，包含支持集和查询集。
• 在元学习过程中应用度量学习，通过支持集嵌入计算类别中心，并在嵌入空间中通过最近邻预测对查询样本进行分类。
• 通过将一个域（如MiniImageNet）中SSL学习得到的嵌入迁移到其他域（如ISIC、EuroSAT）的方式，将该框架扩展至跨域少样本学习，无需额外微调。
• 通过调整SSL阶段使用的无标签数据量，评估预训练数据规模的影响，结果表明性能持续提升。

实验结果

研究问题

• RQ1 自监督学习预训练是否能够在不发生过拟合的情况下，使更大、更强大的嵌入网络在少样本图像分类中得以应用？
• RQ2 与监督预训练相比，SSL预训练在少样本学习中的泛化能力和可迁移性表现如何？
• RQ3 所提出的方法是否在MiniImageNet和CUB等标准少样本基准上实现了最先进性能？
• RQ4 SSL学习得到的嵌入是否能有效迁移到存在领域差距的跨域少样本学习设置中？

主要发现

• 与强基线相比，该方法在MiniImageNet上将1-shot和5-shot准确率分别提升了近3%和4%，在CUB上分别提升了近9%和3%。
• 在SSL预训练阶段增加无标签数据量后，该方法在MiniImageNet设置下，1-shot任务准确率提升15%，5-shot任务提升13%。
• 在四个数据集（ChestX、ISIC、EuroSAT、CropDiseases）的跨域少样本学习中，该方法实现了69.69%的平均准确率，超过此前最先进方法的68.14%。
• 即使在更大网络容量下，SSL预训练模型仍优于监督预训练，证实SSL能有效缓解过拟合并实现更好泛化。
• 直接使用预训练的SSL网络进行最近邻分类性能较差，表明元学习微调对实现最优少样本性能至关重要。
• 将ImageNet预训练的SSL嵌入迁移到CUB数据集，1-shot和5-shot任务分别实现15%和8%的性能提升，证实了其强大的可迁移性。