[论文解读] On the Convergence Theory of Gradient-Based Model-Agnostic Meta-Learning Algorithms

Alireza Fallah, Aryan Mokhtari+1 more|arXiv (Cornell University)|Aug 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用 56

一句话总结

论文首次给出在非凸设置中基于梯度的 MAML 及其第一阶变体的收敛性保证，并引入 Hessian-free MAML 以实现 ε-一阶定常性，且每次迭代成本为 O(d)。

ABSTRACT

We study the convergence of a class of gradient-based Model-Agnostic Meta-Learning (MAML) methods and characterize their overall complexity as well as their best achievable accuracy in terms of gradient norm for nonconvex loss functions. We start with the MAML method and its first-order approximation (FO-MAML) and highlight the challenges that emerge in their analysis. By overcoming these challenges not only we provide the first theoretical guarantees for MAML and FO-MAML in nonconvex settings, but also we answer some of the unanswered questions for the implementation of these algorithms including how to choose their learning rate and the batch size for both tasks and datasets corresponding to tasks. In particular, we show that MAML can find an $ε$-first-order stationary point ($ε$-FOSP) for any positive $ε$ after at most $\mathcal{O}(1/ε^2)$ iterations at the expense of requiring second-order information. We also show that FO-MAML which ignores the second-order information required in the update of MAML cannot achieve any small desired level of accuracy, i.e., FO-MAML cannot find an $ε$-FOSP for any $ε>0$. We further propose a new variant of the MAML algorithm called Hessian-free MAML which preserves all theoretical guarantees of MAML, without requiring access to second-order information.

研究动机与目标

• 激发对基于梯度的模型无关元学习（MAML）方法在非凸损失上的研究动机。
• 表征 MAML 及 FO-MAML 在收敛性、迭代复杂度，以及在梯度范数下可达到的最佳精度。
• 提出 HF-MAML 以在降低计算成本的同时保留 MAML 的保证。
• 为实现一阶定常性提供关于学习率和批量大小的指南。

提出的方法

• 将元学习目标建模为最小化 F(w)=E_i[f_i(w - α ∇f_i(w))]。
• 将 MAML 分析为 F 的 SGD，解决如平滑性参数无界以及梯度估计带偏等挑战。
• 推导收敛性保证，表明 MAML 在使用二阶信息的情况下可在 O(1/ε^2) 次迭代内达到 ε-FOSP。
• 表明 FO-MAML 由于忽略二阶项（除非在某些条件成立时），对任意 ε>0 都无法达到 ε-FOSP。
• 引入 HF-MAML，采用 Hessian-free 近似，在每次迭代成本为 O(d) 的前提下实现任意 ε>0 的 ε-FOSP。

实验结果

研究问题

• RQ1 在非凸损失函数下，MAML 和 FO-MAML 是否能收敛到 ε-一阶驻点，以及在迭代/样本方面的复杂度是多少？
• RQ2 内部/外部循环设计选择、梯度/ Hessian 计算以及随机性如何影响收敛性和可达到的精度？
• RQ3 我们能否设计一个 Hessian-free 变体，在降低每次迭代计算成本的同时保留 MAML 的保证？
• RQ4 哪些超参数和批量大小的选择可以优化收敛速率和实际性能？

主要发现

• 在使用二阶信息时，MAML 可以在任意 ε>0 处找到 ε-FOSP，迭代复杂度为 O(1/ε^2)。
• FO-MAML 实现了更低的每次迭代成本，但无法达到任意 ε-FOSP（其精度被 O(ασ) 限定）。
• HF-MAML 实现二者的最佳结合：每次迭代成本为 O(d)，且能够达到任意 ε-FOSP（对所有 ε>0）。
• 该分析考虑了诸如平滑性参数无界以及带偏梯度估计等挑战，并就学习率与批量大小在任务和数据集上的选择提供了指南。
• 本文将理论保证与实际超参数调优联系起来，包括如何设置内部/外部循环的学习率以及数据分组（数据分批）。