[论文解读] Reptile: a Scalable Metalearning Algorithm

Alex Nichol, John Schulman|arXiv (Cornell University)|Mar 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 18被引用 646

一句话总结

Reptile 是一种简单的元学习算法，通过在采样任务上反复微调并将其初始化向结果权重移动，来学习模型初始化。与 MAML 不同，它避免了内层循环的梯度计算，从而在需要大量优化步骤的任务中实现了高效的适应，并在少样本分类基准上取得了优异性能。

ABSTRACT

This paper considers metalearning problems, where there is a distribution of tasks, and we would like to obtain an agent that performs well (i.e., learns quickly) when presented with a previously unseen task sampled from this distribution. We present a remarkably simple metalearning algorithm called Reptile, which learns a parameter initialization that can be fine-tuned quickly on a new task. Reptile works by repeatedly sampling a task, training on it, and moving the initialization towards the trained weights on that task. Unlike MAML, which also learns an initialization, Reptile doesn't require differentiating through the optimization process, making it more suitable for optimization problems where many update steps are required. We show that Reptile performs well on some well-established benchmarks for few-shot classification. We provide some theoretical analysis aimed at understanding why Reptile works.

研究动机与目标

• 开发一种可扩展的元学习算法，使模型能以极少数据快速适应新任务。
• 通过避免对内层优化过程进行微分，解决 MAML 在需要大量优化步骤的场景下的计算效率低下问题。
• 探究一种更简单、非可微的元学习方法是否能与基于梯度的方法（如 MAML）相媲美或超越其性能。
• 为该算法为何有效提供理论见解，尽管其结构简单。

提出的方法

• Reptile 从任务分布中采样一个任务，并在该任务上执行标准的随机梯度下降。
• 在任务上训练后，算法通过使用较小的学习率，将全局初始化向该任务的特定权重移动。
• 更新规则为：θ ← θ + α(θ_task − θ)，其中 α 为小步长，θ 为初始化参数。
• 该过程在多个任务上重复进行，逐步将初始化移动到在任务间具有良好泛化能力的区域。
• 该方法无需对内层优化循环进行反向传播，从而降低了内存和计算开销。
• 该算法适用于任意可微模型，并支持多种优化调度策略。

实验结果

研究问题

• RQ1 一种避免内层梯度计算的元学习算法是否仍能实现强大的少样本泛化性能？
• RQ2 Reptile 在标准少样本分类基准上的性能与 MAML 相比如何？
• RQ3 Reptile 能够学习有效模型初始化的理论基础是什么？
• RQ4 Reptile 在需要大量优化步骤的任务上是否具有良好的可扩展性？

主要发现

• Reptile 在 Omniglot 和 miniImageNet 等标准少样本学习基准上取得了具有竞争力的性能。
• 即使在任务需要大量优化步骤时，Reptile 仍表现出色，而此时 MAML 的计算成本变得难以接受。
• 理论分析表明，Reptile 的更新规则近似于沿最小化期望元损失方向的梯度步长。
• Reptile 的简洁性以及无需内层反向传播的特性，使其比 MAML 更具可扩展性，也更易于实现。