[论文解读] Multi-Step Model-Agnostic Meta-Learning: Convergence and Improved Algorithms.

Kaiyi Ji, Junjie Yang+1 more|arXiv (Cornell University)|Feb 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 3被引用 24

一句话总结

该论文首次为非凸设置下的多步模型无关元学习（MAML）提供了收敛性保证，分析了重采样和有限和损失形式。证明了当内层学习率与内层步数 $N$ 成反比时，可收敛至 $ epsilon$-精度解，引入了新颖的技术以处理嵌套元梯度结构。

ABSTRACT

As a popular meta-learning approach, the model-agnostic meta-learning (MAML) algorithm has been widely used due to its simplicity and effectiveness. However, the convergence of the general multi-step MAML still remains unexplored. In this paper, we develop a new theoretical framework to provide such convergence guarantee for two types of objective functions that are of interest in practice: (a) resampling case (e.g., reinforcement learning), where loss functions take the form in expectation and new data are sampled as the algorithm runs; and (b) finite-sum case (e.g., supervised learning), where loss functions take the finite-sum form with given samples. For both cases, we characterize the convergence rate and the computational complexity to attain an $\epsilon$-accurate solution for multi-step MAML in the general nonconvex setting. In particular, our results suggest that an inner-stage stepsize needs to be chosen inversely proportional to the number $N$ of inner-stage steps in order for $N$-step MAML to have guaranteed convergence. From the technical perspective, we develop novel techniques to deal with the nested structure of the meta gradient for multi-step MAML, which can be of independent interest.

研究动机与目标

• 在一般非凸设置下，建立多步MAML的理论收敛性保证。
• 分析两种实际目标形式（重采样，如强化学习；有限和，如监督学习）的收敛速率与计算复杂度。
• 明确内层学习率缩放在确保 $N$-步MAML收敛中的关键作用。
• 开发新技术工具，以处理多步MAML中嵌套的元梯度结构。

提出的方法

• 提出一个理论框架，用于分析在一般非凸性条件下的多步MAML收敛性。
• 分析两种目标形式：期望形式的损失函数（重采样情形）与有限和形式（有限数据情形）。
• 推导出实现 $ epsilon$-精度的收敛速率与计算复杂度界。
• 引入新颖的分析技术，以处理元梯度计算中的嵌套依赖关系。
• 证明内层学习率必须按 $O(1/N)$ 缩放，才能确保收敛。
• 利用非凸优化与随机逼近的工具，界定了元步与内层步之间误差传播的范围。

实验结果

研究问题

• RQ1 对于重采样型目标，多步MAML在非凸设置下的收敛速率是什么？
• RQ2 在多步MAML中，计算复杂度如何随内层步数 $N$ 变化？
• RQ3 内层循环的何种步长规则可确保多步MAML的收敛？
• RQ4 重采样与有限和损失形式的理论保证有何差异？
• RQ5 能否开发出新分析技术，以处理多步MAML中嵌套的元梯度结构？

主要发现

• 在非凸设置下，对于重采样和有限和目标函数，$N$-步MAML的收敛性得到保证。
• 为确保收敛，内层学习率必须与内层步数 $N$ 成反比。
• 收敛速率以 $ epsilon$-精度形式表征，并给出了计算复杂度的显式界。
• 该理论框架为分析与改进多步MAML算法奠定了基础。
• 所开发的处理嵌套元梯度的技术，具有独立的理论价值，超越本研究的范畴。