[论文解读] Task Augmentation by Rotating for Meta-Learning

Jialin Liu, Fei Chao+1 more|arXiv (Cornell University)|Feb 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 22

一句话总结

本文提出了一种新颖的少样本元学习数据增强方法——旋转任务增强（Task Augmentation by Rotating, Task Aug），通过将图像旋转90°、180°和270°来增加训练类别数量，而非增加训练图像数量。通过从旋转变体中创建新的、独立的类别，该方法在元训练过程中提升了任务多样性，减少了过拟合，并在miniImageNet、CIFAR-FS和FC100基准上实现了最先进性能，相较于先前方法准确率提升2%至5%。

ABSTRACT

Data augmentation is one of the most effective approaches for improving the accuracy of modern machine learning models, and it is also indispensable to train a deep model for meta-learning. In this paper, we introduce a task augmentation method by rotating, which increases the number of classes by rotating the original images 90, 180 and 270 degrees, different from traditional augmentation methods which increase the number of images. With a larger amount of classes, we can sample more diverse task instances during training. Therefore, task augmentation by rotating allows us to train a deep network by meta-learning methods with little over-fitting. Experimental results show that our approach is better than the rotation for increasing the number of images and achieves state-of-the-art performance on miniImageNet, CIFAR-FS, and FC100 few-shot learning benchmarks. The code is available on \url{www.github.com/AceChuse/TaskLevelAug}.

研究动机与目标

• 为解决少样本元学习中任务多样性有限的挑战，即模型需在仅有少量样本的情况下泛化到未见类别。
• 通过在训练过程中增加不同类别身份的数量，提升泛化能力并减少过拟合。
• 探索一种新的任务级数据增强范式，而非传统的图像级增强，以更好地契合元学习的分层学习过程。
• 通过一种简单且低成本的增强策略，在标准少样本学习基准上实现最先进性能。

提出的方法

• 该方法通过将原始图像分别旋转90°、180°和270°，创建新的、独立的类别，从而在元训练期间增加可用类别数量。
• 与传统数据增强方法增加图像数量不同，Task Aug通过增加唯一类别身份的数量来提升任务多样性。
• 旋转后的图像被视为新类别，而非合并到已有类别中，从而保持语义上的独立性。
• 该方法可与现有元学习模型（如ProtoNets、M-SVM和R2-D2）结合使用，并采用标准少样本学习协议。
• 通过集成方法和基于验证的模型选择进一步提升性能，利用Task Aug带来的泛化能力改进。
• 该方法在三个基准上进行了评估：miniImageNet、CIFAR-FS和FC100，设置为5-way 1-shot和5-shot。

实验结果

研究问题

• RQ1 通过图像旋转增加不同类别数量，是否能提升少样本元学习中的泛化能力？
• RQ2 与标准图像级增强相比，通过旋转实现的任务级增强是否能更有效地减少过拟合？
• RQ3 Task Augmentation在标准少样本基准上与现有最先进方法相比表现如何？
• RQ4 将Task Aug与集成方法或基于验证的模型选择结合，是否能进一步提升性能？

主要发现

• 在miniImageNet基准上，Task Aug实现了最先进性能，使用R2-D2结合集成和验证方法，在5-way 5-shot设置下准确率达到81.96%，超越了先前方法。
• 在CIFAR-FS上，该方法在5-shot设置下达到88.38%的准确率，较之前最佳结果高出超过3%。
• 在FC100上，该方法在5-shot设置下达到67.17%的准确率，较之前最佳方法提升4.5%。
• 当结合集成方法时，性能提升最为显著，表明Task Aug有效减少了过拟合，并支持训练出更高品质的模型。
• 结果表明，通过旋转图像创建新类别，比标准增强方法在提升元学习中模型多样性与泛化能力方面更为有效。