[论文解读] Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML

Aniruddh Raghu, Maithra Raghu+2 more|arXiv (Cornell University)|Sep 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用 96

一句话总结

本论文表明，特征重用而非快速学习在很大程度上解释了 MAML 的成功，并引入 ANIL 和 NIL 作为简化/测试时变体，具有竞争力的性能。

ABSTRACT

An important research direction in machine learning has centered around developing meta-learning algorithms to tackle few-shot learning. An especially successful algorithm has been Model Agnostic Meta-Learning (MAML), a method that consists of two optimization loops, with the outer loop finding a meta-initialization, from which the inner loop can efficiently learn new tasks. Despite MAML's popularity, a fundamental open question remains -- is the effectiveness of MAML due to the meta-initialization being primed for rapid learning (large, efficient changes in the representations) or due to feature reuse, with the meta initialization already containing high quality features? We investigate this question, via ablation studies and analysis of the latent representations, finding that feature reuse is the dominant factor. This leads to the ANIL (Almost No Inner Loop) algorithm, a simplification of MAML where we remove the inner loop for all but the (task-specific) head of a MAML-trained network. ANIL matches MAML's performance on benchmark few-shot image classification and RL and offers computational improvements over MAML. We further study the precise contributions of the head and body of the network, showing that performance on the test tasks is entirely determined by the quality of the learned features, and we can remove even the head of the network (the NIL algorithm). We conclude with a discussion of the rapid learning vs feature reuse question for meta-learning algorithms more broadly.

研究动机与目标

• 研究 MAML 的成功是来自快速的任务特定适应，还是来自嵌入在元初始化中的可重用特征。
• 描述网络的不同组件（主体/Body 与 头部/Head）如何影响少样本学习性能。
• 开发简化的替代方案（ANIL、NIL），在降低计算成本的同时保留性能。
• 理解训练方案如何影响元学习模型的特征质量和任务特异性。

提出的方法

• 进行层冻结实验，以评估在不同网络部分对内环更新的必要性。
• 使用表征相似性分析（CCA、CKA）来衡量内环自适应前后潜在表示的变化。
• 比较 MAML 与一个简化的 ANIL 变体，其中仅在内环更新头部。
• 在测试时通过使用主体表示及余弦相似度进行标注来探究 NIL。
• 在标准少样本基准（Omniglot、MiniImageNet）和强化学习任务上进行评估。

实验结果

研究问题

• RQ1 MAML 的有效性是由于快速的内环学习，还是由于元初始化中的可重用特征？
• RQ2 网络的主体（前几层）和头部（最后一层）如何影响少样本学习性能？
• RQ3 是否可以在不损失精度的情况下简化 MAML，以及在计算方面的权衡？
• RQ4 训练方案（多任务、多类、NIL）是否会影响学习到的特征质量和任务特异性？

主要发现

Freeze Layers (Body)	MiniImageNet-5way-1shot	MiniImageNet-5way-5shot
None	46.9 ± 0.2	63.1 ± 0.4
1	46.5 ± 0.3	63.0 ± 0.6
1,2	46.4 ± 0.4	62.6 ± 0.6
1,2,3	46.3 ± 0.4	61.2 ± 0.5
1,2,3,4	46.3 ± 0.4	61.0 ± 0.6

• 特征重用是推动 MAML 高效学习的主导因素，当冻结主体层时表现损失最小。
• 卷积主体表示在内环更新前后仍高度相似（CCA/CKA > ~0.9），而头部变化显著。
• ANIL（Almost No Inner Loop）在标准基准上与 MAML 的性能相匹配，同时显著降低计算。
• NIL（No Inner Loop）在测试时仅使用主体特征和余弦相似度在若干任务上取得与 MAML/ANIL 相当的结果。
• 用 MAML/ANIL 进行训练在主体特征方面产生优于多类、多任务或随机特征方案的特征。
• 头部在训练期间对学习到好的特征很重要，但在测试时，主体的特征对未见任务也足够。