[论文解读] On First-Order Meta-Learning Algorithms

Alex Nichol, Joshua Achiam+1 more|arXiv (Cornell University)|Mar 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 13被引用 544

一句话总结

本文分析了用于学习快速自适应初始化的一级元学习方法，提出了 Reptile，并提供理论与实证支持，表明这些一级方法在少-shot 任务上可与二阶 MAML 变体相匹配甚至超过它们。

ABSTRACT

This paper considers meta-learning problems, where there is a distribution of tasks, and we would like to obtain an agent that performs well (i.e., learns quickly) when presented with a previously unseen task sampled from this distribution. We analyze a family of algorithms for learning a parameter initialization that can be fine-tuned quickly on a new task, using only first-order derivatives for the meta-learning updates. This family includes and generalizes first-order MAML, an approximation to MAML obtained by ignoring second-order derivatives. It also includes Reptile, a new algorithm that we introduce here, which works by repeatedly sampling a task, training on it, and moving the initialization towards the trained weights on that task. We expand on the results from Finn et al. showing that first-order meta-learning algorithms perform well on some well-established benchmarks for few-shot classification, and we provide theoretical analysis aimed at understanding why these algorithms work.

研究动机与目标

• 在一个任务分布下激励元学习，并寻求能在未看到的任务上实现快速适应的初始化。
• 分析并比较一级元学习方法与 MAML，突出实现的简便性和性能。
• 引入一种新的一级算法（Reptile），并将其与联合训练和快速权重概念联系起来。
• 提供关于为何一级更新可以在任务内部和跨小批次上实现泛化的理论见解。

提出的方法

• 通过忽略元梯度中的二阶项，描述 MAML 目标及其一级变体（FOMAML）。
• 介绍 Reptile，一种将初始化更新为朝向任务特定训练权重的一级算法，具有串行与并行（分批）变体。
• 展示 Reptile 的更新可被视为朝向任务训练权重的加权平均移动初始化，类似于联合训练加上一个纠正项。
• 提供基于泰勒级数的分析来比较 g_MAML、g_FOMAML 与 g_Reptile，突出 AvgGrad 与 AvgGradInner 这两个分量。
• 讨论一个一维正弦波回归案例研究，以说明为何一级方法能够恢复出有用的初始化。
• 在 Omniglot 与 Mini-ImageNet 上进行实证评估，涵盖非传导和传导设置，并比较内循环梯度组合。

实验结果

研究问题

• RQ1 在少样本任务中，一级元学习更新（无二阶导数）是否能够达到与 MAML 相当的快速学习性能？
• RQ2 作为 MAML 的一个简单一级替代方案，Reptile 的行为与理论依据是什么？
• RQ3 内循环梯度组合及内循环小批次之间的重叠如何影响元学习性能？
• RQ4 Reptile 是否有效收敛到几个任务的最优解流形附近的初始化？
• RQ5 在何种条件下，一级方法通过梯度交互最大化任务内泛化？

主要发现

• FOMAML 与 Reptile 在若干少-shot 基准上与 MAML 相当，Reptile 在 Mini-ImageNet 和 Omniglot 的公开设定中常与 FOMAML 相当或略有超越。
• Reptile 将初始化朝向任务训练权重移动，并从使用多个内循环梯度中受益，当使用更多内循环步骤或梯度时（尤其是梯度求和）显示出改进。
• 泰勒级数分析显示前几阶项：AvgGrad 最小化联合任务损失，而 AvgGradInner 增强内任务梯度的对齐，有助于任务内泛化。
• Reptile 的更新与对期望损失的联合训练密切相关，但有一个附加项倾向于对齐同一任务内跨小批次的梯度，从而改善泛化。
• 实验证明转导（基于批归一化的测试时共享）提升了所有方法的性能；内循环参数选择（公共尾部与分离尾部、批量大小）对 FOMAML 的影响显著大于对 Reptile 的影响。
• 正弦波回归案例研究表明，MAML 与 Reptile 可以学习初始表示，使得训练后能够快速适应，而非元学习的联合训练无法实现。