[论文解读] Optimal Continual Learning has Perfect Memory and is NP-hard

Jeremias Knoblauch, Hisham Husain+1 more|arXiv (Cornell University)|Jun 9, 2020

Domain Adaptation and Few-Shot Learning被引用 33

一句话总结

论文认为，最优的持续学习算法通常需要解决一个 NP-hard 问题并且需要完美记忆，解释了经验回放和情节记忆为何有助于持续学习。

ABSTRACT

Continual Learning (CL) algorithms incrementally learn a predictor or representation across multiple sequentially observed tasks. Designing CL algorithms that perform reliably and avoid so-called catastrophic forgetting has proven a persistent challenge. The current paper develops a theoretical approach that explains why. In particular, we derive the computational properties which CL algorithms would have to possess in order to avoid catastrophic forgetting. Our main finding is that such optimal CL algorithms generally solve an NP-hard problem and will require perfect memory to do so. The findings are of theoretical interest, but also explain the excellent performance of CL algorithms using experience replay, episodic memory and core sets relative to regularization-based approaches.

研究动机与目标

• 激发研究为何持续学习模型会遭遇灾难性遗忘。
• 描述最优持续学习算法需要的计算性质。
• 解释基于记忆的方法相对于基于正则化的方法在经验上的成功。

提出的方法

• 将理想化持续学习（Idealized CL）定义为算法函数 A_I 和 A_θ。
• 在固定准则下，为任务序列和数据分布建立正式框架。
• 论证最优 CL 需要在完美记忆下解决一个 NP-hard 问题以避免遗忘。

实验结果

研究问题

• RQ1 为避免灾难性遗忘，最优持续学习算法必须具备哪些计算性质？
• RQ2 实践中的 CL 策略（如 replay、情节记忆、核心集合）是否与最优 CL 的属性一致？
• RQ3 为什么基于记忆的方法在持续学习中优于基于正则化的方法？
• RQ4 在给定任务序列和数据分布的条件下，何种形式条件下可实现 Idealized CL？

主要发现

• 最优持续学习算法通常解决一个 NP-hard 问题。
• 这样的算法需要完美记忆以防止遗忘。
• 基于记忆的方法（经验回放、情节记忆、核心集合）在性能解释上优于基于正则化的方法。