[论文解读] Unsupervised Meta-Learning For Few-Shot Image Classification

Siavash Khodadadeh, Ladislau Bölöni+1 more|arXiv (Cornell University)|Nov 28, 2018

Domain Adaptation and Few-Shot Learning被引用 65

一句话总结

UMTRA 在构建来自未标记数据的合成任务时进行无监督、模型无关的元学习，使用随机采样和增强，取得了强劲的少样本结果，所需标签比有监督的 MAML 少得多。

ABSTRACT

Few-shot or one-shot learning of classifiers requires a significant inductive bias towards the type of task to be learned. One way to acquire this is by meta-learning on tasks similar to the target task. In this paper, we propose UMTRA, an algorithm that performs unsupervised, model-agnostic meta-learning for classification tasks. The meta-learning step of UMTRA is performed on a flat collection of unlabeled images. While we assume that these images can be grouped into a diverse set of classes and are relevant to the target task, no explicit information about the classes or any labels are needed. UMTRA uses random sampling and augmentation to create synthetic training tasks for meta-learning phase. Labels are only needed at the final target task learning step, and they can be as little as one sample per class. On the Omniglot and Mini-Imagenet few-shot learning benchmarks, UMTRA outperforms every tested approach based on unsupervised learning of representations, while alternating for the best performance with the recent CACTUs algorithm. Compared to supervised model-agnostic meta-learning approaches, UMTRA trades off some classification accuracy for a reduction in the required labels of several orders of magnitude.

研究动机与目标

• 通过利用未标注数据集来激发在没有标注任务数据的情况下的少样本学习。
• 开发一种生成合成任务的模型无关元学习方法。
• 在最终任务标签极少的情况下实现一-shot 与少样本分类。
• 在元学习设定中从理论上将泛化误差与验证损失联系起来。

提出的方法

• 采样 N 个未标记示例以形成一个假设的 N 路任务，赋予人工标签 1..N。
• 在合成任务上使用梯度下降进行内环更新以获得自适应参数。
• 通过对训练样本应用领域相关的增强 A 来创建验证集，确保增强样本保持类别身份。
• 通过使用自适应参数最小化增强验证集上的损失来更新元参数（外部循环）。
• 在元训练中使用 one-shot（K=1），而在目标任务（测试）中允许 K>1。
• 在元学习环境中讨论泛化误差与反向传播的验证损失之间的关系。

实验结果

研究问题

• RQ1 是否可以使用无监督数据在没有真实标签的情况下对快速学习分类器进行元训练？
• RQ2 如何从未标记数据构建合成任务以有效正则化元学习？
• RQ3 增强策略对无监督元学习质量的影响是什么？
• RQ4 在标注努力方面，无监督元学习能在多大程度上接近有监督的模型无关元学习（MAML）的性能？

主要发现

• UMTRA 在 Omniglot 和 Mini-Imagenet 上超越了无监督表示学习基线。
• 在 Omniglot 5-way 1-shot 下，UMTRA 在 5 个标签时达到 83.80%，而有监督的 MAML 在有标签数据时为 98.7%。
• 在 Omniglot 5-way 5-shot 下，UMTRA 在 25 个标签时达到 95.43%，而有监督的 MAML 在 24025 标签时为 98.83%。
• 在 Mini-Imagenet 上，UMTRA 超越了无监督表示基线，在某些设置下仍与 CACTUs 竞争，而有监督元学习在准确性上仍然更高。
• 如消融比较带增强与未带增强的设置所示，UMTRA 的大部分提升来自元学习过程，而不仅仅是增强。