[论文解读] Task Agnostic Continual Learning via Meta Learning

Xu He, Jakub Sygnowski+4 more|arXiv (Cornell University)|Jun 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用 57

一句话总结

本论文提出一个task-agnostic continual learning框架，利用元学习从最近观测中推断当前任务上下文并相应地调整预测，从而在非平稳任务序列中实现快速回忆，且没有任务边界。

ABSTRACT

While neural networks are powerful function approximators, they suffer from catastrophic forgetting when the data distribution is not stationary. One particular formalism that studies learning under non-stationary distribution is provided by continual learning, where the non-stationarity is imposed by a sequence of distinct tasks. Most methods in this space assume, however, the knowledge of task boundaries, and focus on alleviating catastrophic forgetting. In this work, we depart from this view and move the focus towards faster remembering -- i.e measuring how quickly the network recovers performance rather than measuring the network's performance without any adaptation. We argue that in many settings this can be more effective and that it opens the door to combining meta-learning and continual learning techniques, leveraging their complementary advantages. We propose a framework specific for the scenario where no information about task boundaries or task identity is given. It relies on a separation of concerns into what task is being solved and how the task should be solved. This framework is implemented by differentiating task specific parameters from task agnostic parameters, where the latter are optimized in a continual meta learning fashion, without access to multiple tasks at the same time. We showcase this framework in a supervised learning scenario and discuss the implication of the proposed formalism.

研究动机与目标

• 在未知任务边界或身份的情况下解决非平稳数据问题。
• 将要解决的任务与应该如何解决任务分离。
• 从上下文数据中推断当前任务并相应地自适应任务特定模型。
• 用持续学习稳定元学习组件以防止遗忘。
• 用将持续学习与元学习统一起来的实例化方法演示该框架。

提出的方法

• 提出一个两模块的 What & How 框架，将任务推断与任务求解分离。
• 使用 What 编码器 F^What，从上下文数据 D_t^cxt 推断当前任务表示 c_t。
• 将任务表示 c_t 映射到任务特定模型 F^How，该模型从 x 预测 y。
• 使用最近的 k 个观测作为上下文，以捕捉分段平稳或平滑变化的任务。
• 通过贝叶斯梯度下降(BGD)对元参数应用持续学习，以在不同任务间稳定学习。
• 通过上下文相关门控将框架实例化为 MetaCoG；通过类似于 GO-MTM/ELLA 的潜在任务字典将其实例化为 MetaELLA。
• 证明元参数可以通过 BGD 更新，在学习新任务的同时保留旧任务技能。

实验结果

研究问题

• RQ1 一个任务无关的持续学习系统是否能够从上下文推断当前任务并在没有显式任务标签的情况下相应地进行自适应？
• RQ2 在元学习层面应用持续学习是否能够在彼此冲突的顺序任务中实现快速回忆？
• RQ3 在非平稳、无边界场景中，What & How 实例化的元学习方法与标准基线相比如何？
• RQ4 当输入不揭示任务身份时，任务推断对维持性能是否必不可少？

主要发现

• 基于元学习的任务推断在有上下文时能够快速记忆，优于不进行任务推断的基线。
• BDG 的元参数更新有助于巩固知识并防止在连续任务中的遗忘。
• MetaCoG 和 MetaELLA 展示了任务无关设置占主导地位的可行持续元学习宇宙。
• 在正弦曲线回归和标签置换 MNIST 中，元学习者以少量内部循环更新回忆先前任务，而基线失败。
• 在 Omniglot 实验中，单头架构在推断任务上下文时可以达到与多头基线相匹配的效果。
• 该框架通过分离 What 和 How 并专注于更快的记忆，将持续学习和元学习统一起来。