[论文解读] On the Global Optimality of Model-Agnostic Meta-Learning

Lingxiao Wang, Qi Cai+2 more|arXiv (Cornell University)|Jun 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用 9

一句话总结

本文通过分析通过一阶优化得到的驻点的最优性差距，证明了在非凸元目标函数下，模型无关元学习（MAML）的全局最优性。该研究将此差距与内层目标函数的功能几何结构以及函数逼近器（包括神经网络）的表征能力联系起来，首次在监督学习和强化学习设置中为MAML提供了全局最优性的理论保证。

ABSTRACT

Model-agnostic meta-learning (MAML) formulates meta-learning as a bilevel optimization problem, where the inner level solves each subtask based on a shared prior, while the outer level searches for the optimal shared prior by optimizing its aggregated performance over all the subtasks. Despite its empirical success, MAML remains less understood in theory, especially in terms of its global optimality, due to the nonconvexity of the meta-objective (the outer-level objective). To bridge such a gap between theory and practice, we characterize the optimality gap of the stationary points attained by MAML for both reinforcement learning and supervised learning, where the inner-level and outer-level problems are solved via first-order optimization methods. In particular, our characterization connects the optimality gap of such stationary points with (i) the functional geometry of inner-level objectives and (ii) the representation power of function approximators, including linear models and neural networks. To the best of our knowledge, our analysis establishes the global optimality of MAML with nonconvex meta-objectives for the first time.

研究动机与目标

• 弥合MAML在非凸元目标函数下经验成功与缺乏全局最优性保证之间的理论差距。
• 分析MAML在监督学习和强化学习中，通过一阶优化方法生成的驻点的最优性差距。
• 阐明内层目标函数的功能几何结构以及函数逼近器的表征能力如何影响MAML收敛至全局最优解。
• 首次在非凸元目标函数设置下，建立MAML的全局最优性结果。

提出的方法

• 将MAML形式化为一个双层优化问题，其中内层为任务特定的适应过程，外层为元先验的优化过程。
• 使用一阶优化方法分析MAML在内层和外层的驻点。
• 推导出一个依赖于内层目标函数功能几何结构的最优性差距理论边界。
• 量化函数逼近器容量（如线性模型和神经网络）对最优性差距的影响。
• 建立在非凸性存在的情况下，MAML驻点对应于全局最优解的条件。
• 利用几何工具和逼近理论，将表征能力与目标函数景观联系起来，以实现全局收敛。

实验结果

研究问题

• RQ1 在何种条件下，MAML能够在元目标函数非凸的情况下实现全局最优性？
• RQ2 内层目标函数的功能几何结构如何影响MAML驻点的最优性差距？
• RQ3 函数逼近器的表征能力在多大程度上影响MAML的全局收敛性？
• RQ4 MAML中的一阶优化是否能在监督学习和强化学习中均导致全局最优解？
• RQ5 当元目标函数为非凸时，可以为MAML的驻点建立哪些理论保证？

主要发现

• 本文首次在非凸元目标函数下为MAML建立了理论上的全局最优性保证，表明在特定几何和表征条件下，驻点可以是全局最优的。
• MAML驻点的最优性差距与内层目标函数的功能几何结构存在定量关联，平坦或更具结构化的景观会导致更小的差距。
• 函数逼近器（包括神经网络）的表征能力在减小最优性差距方面起着关键作用，表征能力更强的模型能更好地逼近全局最优解。
• 对于线性模型和神经网络，分析表明，当函数类相对于任务分布足够丰富时，全局最优性是可实现的。
• 理论框架表明，在内层目标函数具有温和几何假设的前提下，一阶MAML可收敛至全局最优元参数。
• 研究结果通过证明当底层几何结构与表征能力匹配有利时，MAML的驻点为全局最优，为MAML的实证成功提供了正式解释，尤其在少样本学习中表现突出。