[论文解读] Unsupervised Few-shot Learning via Distribution Shift-based Augmentation

Tiexin Qin, Wenbin Li+2 more|arXiv (Cornell University)|Apr 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 17被引用 14

一句话总结

本文提出ULDA，一种新颖的无监督少样本学习框架，通过基于分布偏移的数据增强显式增加支持集与查询集之间的分布多样性，从而提升模型鲁棒性。通过独立地对支持集和查询集应用多样化增强，ULDA在Omniglot和miniImageNet上实现了最先进性能，且无需依赖大规模有标签辅助数据集。

ABSTRACT

Few-shot learning aims to learn a new concept when only a few training examples are available, which has been extensively explored in recent years. However, most of the current works heavily rely on a large-scale labeled auxiliary set to train their models in an episodic-training paradigm. Such a kind of supervised setting basically limits the widespread use of few-shot learning algorithms. Instead, in this paper, we develop a novel framework called Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation (ULDA), which pays attention to the distribution diversity inside each constructed pretext few-shot task when using data augmentation. Importantly, we highlight the value and importance of the distribution diversity in the augmentation-based pretext few-shot tasks, which can effectively alleviate the overfitting problem and make the few-shot model learn more robust feature representations. In ULDA, we systemically investigate the effects of different augmentation techniques and propose to strengthen the distribution diversity (or difference) between the query set and support set in each few-shot task, by augmenting these two sets diversely (i.e., distribution shifting). In this way, even incorporated with simple augmentation techniques (e.g., random crop, color jittering, or rotation), our ULDA can produce a significant improvement. In the experiments, few-shot models learned by ULDA can achieve superior generalization performance and obtain state-of-the-art results in a variety of established few-shot learning tasks on Omniglot and miniImageNet. The source code is available in this https URL.

研究动机与目标

• 解决现有少样本学习方法严重依赖大规模有标签辅助数据集的局限性。
• 探究分布多样性在少样本学习数据增强中的作用。
• 开发一种无监督少样本学习框架，通过受控分布偏移减少过拟合并提升泛化能力。
• 证明当以策略性分布多样性应用时，简单增强技术可实现优异性能。

提出的方法

• 该框架构建了预训练少样本任务，其中支持集和查询集分别独立进行增强以引入分布偏移。
• 它采用标准增强技术（如随机裁剪、颜色抖动和旋转）并以不同策略应用于支持集和查询集。
• 该方法强调通过增强提升支持集与查询集分布之间的统计差异，以改善特征表示学习。
• 它避免使用有标签辅助数据进行元训练，从而实现真正的无监督设置。
• 该方法系统评估了不同增强策略对分布偏移和模型泛化能力的影响。
• 最终模型通过在训练过程中受控分布偏移最小化过拟合，学习到鲁棒特征。

实验结果

研究问题

• RQ1 支持集与查询集之间的分布多样性如何影响少样本学习性能？
• RQ2 当显式鼓励分布偏移时，简单增强技术能否实现优异性能？
• RQ3 在不依赖大规模有标签辅助数据集的情况下，无监督少样本学习能提升到何种程度？
• RQ4 如何最优地应用数据增强以最大化支持集与查询集之间的分布偏移？
• RQ5 基于分布偏移的增强与标准增强相比，在泛化能力和鲁棒性方面有何差异？

主要发现

• ULDA在Omniglot和miniImageNet基准上均实现了最先进性能，且未使用任何有标签辅助数据。
• 该方法通过在增强中受控分布偏移显著提升了泛化能力，减少了过拟合。
• 即使仅使用随机裁剪和颜色抖动等基础增强技术，当以多样化方式应用于支持集和查询集时，ULDA仍实现了显著的性能提升。
• 系统的消融实验表明，提升支持集与查询集之间的分布多样性可带来更鲁棒的特征学习。
• 该框架表明，增强中的分布偏移是提升无监督少样本学习中模型鲁棒性和性能的关键因素。
• 源代码已公开，支持可复现性并促进无监督少样本学习的进一步研究。