[论文解读] Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning

M. Caccia, Pau Rodríguez+9 more|arXiv (Cornell University)|Mar 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 56被引用 13

一句话总结

本文提出OSAKA，一种统一的持续学习框架，通过元学习术语整合快速权重自适应与缓慢参数更新。通过将数据采样、快速权重计算和缓慢权重更新建模为支持集与查询集，OSAKA 实现了任务间的在线快速适应与知识累积，在持续学习场景中实现了更好的泛化性能。

ABSTRACT

Continual learning studies agents that learn from streams of tasks without forgetting previous ones while adapting to new ones. Two recent continual-learning scenarios have opened new avenues of research. In meta-continual learning, the model is pre-trained to minimize catastrophic forgetting of previous tasks. In continual-meta learning, the aim is to train agents for faster remembering of previous tasks through adaptation. In their original formulations, both methods have limitations. We stand on their shoulders to propose a more general scenario, OSAKA, where an agent must quickly solve new (out-of-distribution) tasks, while also requiring fast remembering. We show that current continual learning, meta-learning, meta-continual learning, and continual-meta learning techniques fail in this new scenario. We propose Continual-MAML, an online extension of the popular MAML algorithm as a strong baseline for this scenario. We empirically show that Continual-MAML is better suited to the new scenario than the aforementioned methodologies, as well as standard continual learning and meta-learning approaches.

研究动机与目标

• 通过提供统一的概念框架，解决元学习与持续学习相互作用引发的混淆。
• 将持续学习形式化为元学习问题，其中任务按顺序被依次遇到并实时适应。
• 通过包含快速与缓慢权重更新的结构化学习算法，实现实时快速适应与长期知识累积。
• 提出一个可泛化的框架，适用于多种学习范式，包括监督学习、元学习与持续学习。
• 引入一种新型训练制度——OSAKA，支持具有动态上下文变化与基于查询评估的持续元学习。

提出的方法

• 使用上下文变量 C 建模每种学习范式，C 定义数据分布，上下文代表任务或任务描述符。
• 引入支持集 S 和查询集 Q 作为核心组件，其中 S 用于计算快速权重，Q 用于评估性能。
• 将学习算法 A 定义为从支持集 S 映射到预测器 fθ = A(S) 的函数映射，其中参数 θ 通过快速适应学习。
• 应用损失函数 L(fθ, Q) 在查询集上评估预测器，从而实现对算法 A 的元优化。
• 使用元优化目标 ∇ϕ∑tL(fθt, Qt) 更新缓慢权重 ϕ，其中 fθt 通过 Aϕ(St−1) 在线性、顺序方式下计算。
• 采用一种新型训练协议——OSAKA，其中快速权重通过先前查询状态在线适应，缓慢权重通过累积损失上的梯度下降进行更新。

实验结果

研究问题

• RQ1 如何在单一框架下正式统一元学习与持续学习？
• RQ2 快速权重与缓慢权重在实现实时适应与长期知识保留中起到什么作用？
• RQ3 OSAKA 框架如何支持具有动态、顺序任务分布的持续元学习？
• RQ4 能否设计一种统一的训练协议，支持在多种学习环境中实现快速适应与缓慢参数更新？
• RQ5 支持集与查询集的使用如何提升持续学习场景中的泛化性能？

主要发现

• 所提出的 OSAKA 框架成功地通过支持集与查询集，将元学习、持续学习及其变体统一在一个单一且连贯的框架下。
• OSAKA 通过从前序查询状态计算快速权重，实现了在线快速适应，使系统能够对新数据做出快速响应。
• 缓慢权重 ϕ 通过在累积损失 ∑tL(fθt, Qt) 上的梯度下降进行更新，确保了长期知识累积。
• 该框架通过建模序列上下文 C1:T 支持持续元学习，并实现在时间维度上的算法自适应。
• 通过将快速适应（在支持集上）与缓慢参数更新（通过元优化）解耦，该方法在持续学习中实现了更好的泛化性能。
• 该方法在概念上清晰地区分了快速权重（任务特定）与缓慢权重（元学习所得），提升了可解释性与训练稳定性。