[论文解读] The effects of negative adaptation in Model-Agnostic Meta-Learning

Tristan Deleu, Yoshua Bengio|arXiv (Cornell University)|Dec 5, 2018

Machine Learning and Data Classification参考文献 11被引用 14

一句话总结

本文研究了模型无关元学习（MAML）中的负适应现象，即在单个任务上进行一次梯度更新后性能不升反降。作者通过实证分析表明，MAML在连续控制任务中可能导致回报显著下降——尤其当初始策略已接近最优时——这表明需要引入约束性元目标，以确保元强化学习中性能的稳定提升与安全性。

ABSTRACT

The capacity of meta-learning algorithms to quickly adapt to a variety of tasks, including ones they did not experience during meta-training, has been a key factor in the recent success of these methods on few-shot learning problems. This particular advantage of using meta-learning over standard supervised or reinforcement learning is only well founded under the assumption that the adaptation phase does improve the performance of our model on the task of interest. However, in the classical framework of meta-learning, this constraint is only mildly enforced, if not at all, and we only see an improvement on average over a distribution of tasks. In this paper, we show that the adaptation in an algorithm like MAML can significantly decrease the performance of an agent in a meta-reinforcement learning setting, even on a range of meta-training tasks.

研究动机与目标

• 调查MAML的适应阶段是否可能在元训练分布内的单个任务上导致性能下降。
• 识别在连续控制环境中导致MAML出现负适应的条件或情形。
• 探讨负适应对实际部署的影响，特别是在机器人和安全关键型应用中的影响。
• 提出一种约束性元学习目标，以确保在高概率下跨所有任务实现性能提升。
• 解决将安全约束整合到元强化学习中的挑战，受安全强化学习文献的启发。

提出的方法

• 在连续控制任务（Half-Cheetah 和 Ant）上实证评估MAML的性能，任务目标速度和方向各不相同。
• 测量初始策略与一次梯度更新后策略的回报，以计算改进差距 ΓT(θ)。
• 定义一个随机变量 ΓT(θ) = G₀(πθ) - G₀(πθ′)，用于量化适应后的性能变化。
• 提出一个约束性元目标（公式6），以确保在任务上满足 Pr(ΓT(θ) ≤ 0) ≥ 1−β 的高概率。
• 构建一个安全感知的元优化问题，要求在每个任务上以高概率实现性能提升，使用概率约束。
• 探索通过近似方法优化该约束目标的可行性，尽管初步实验表明在减少负适应方面效果有限。

实验结果

研究问题

• RQ1 MAML是否可能在元训练分布内的单个任务上导致性能下降？
• RQ2 在连续控制环境中，哪些条件或任务特征会导致MAML出现负适应？
• RQ3 初始策略相对于最优策略的性能如何影响负适应的发生概率？
• RQ4 能否设计一种约束性元目标，以高概率确保每个任务上的性能提升？
• RQ5 在优化一个确保一致提升的安全约束型元学习目标时，面临哪些实际挑战？

主要发现

• 在Half-Cheetah和Ant环境中，MAML表现出显著的负适应现象，尤其在目标速度分别为[0.6, 1.1]和[0.6, 1.6]区间内。
• 当初始策略已接近最优时，负适应现象发生，导致单次梯度更新后性能下降。
• 即使在元训练分布之外，预适应与后适应策略之间的性能差距仍保持相对稳定，表明改进能力的泛化能力有限。
• 在Half-Cheetah中，目标方向任务的初始策略偏向后退运动，MAML无法在该任务上实现改进，表明存在过度专业化现象。
• 相比之下，Ant环境在前后向任务上均表现出均衡的改进，表明偏差较小，适应行为更优。
• 对所提约束性元目标（公式6）的初步实验未能显著减少负适应，凸显了优化此类安全感知目标的困难。