[论文解读] On Tiny Episodic Memories in Continual Learning

Arslan Chaudhry, Marcus Rohrbach+5 more|arXiv (Cornell University)|Feb 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用 326

一句话总结

论文表明，使用 Experience Replay (ER) 的非常小的 episodic 记忆在很大程度上超过了专门的持续学习方法，即使每个类别只有一个样本，重复的内存训练也可以提升泛化能力。

ABSTRACT

In continual learning (CL), an agent learns from a stream of tasks leveraging prior experience to transfer knowledge to future tasks. It is an ideal framework to decrease the amount of supervision in the existing learning algorithms. But for a successful knowledge transfer, the learner needs to remember how to perform previous tasks. One way to endow the learner the ability to perform tasks seen in the past is to store a small memory, dubbed episodic memory, that stores few examples from previous tasks and then to replay these examples when training for future tasks. In this work, we empirically analyze the effectiveness of a very small episodic memory in a CL setup where each training example is only seen once. Surprisingly, across four rather different supervised learning benchmarks adapted to CL, a very simple baseline, that jointly trains on both examples from the current task as well as examples stored in the episodic memory, significantly outperforms specifically designed CL approaches with and without episodic memory. Interestingly, we find that repetitive training on even tiny memories of past tasks does not harm generalization, on the contrary, it improves it, with gains between 7\% and 17\% when the memory is populated with a single example per class.

研究动机与目标

• 推动持续学习 (CL) 通过记忆利用先前经验将知识迁移到新任务。
• 在单遍数据设置下定量评估非常小的 episodic 记忆的有效性。
• 在多个基准上将 Experience Replay (ER) 与基于正则化的和基于记忆的 CL 方法进行比较。
• 分析为什么在微小记忆上的重复训练不会降低泛化能力，反而可以提升。
• 提出并评估用于填充微小 episodic 记忆的记忆写入策略。

提出的方法

• 使用单遍数据通过两个任务流：交叉验证任务和评估任务。
• 通过将当前任务的小批次与内存小批次拼接并在每一步更新内存来使用 Experience Replay (ER) 进行训练。
• 在四个基准上将 ER 与基线方法比较：微调、EWC、A-GEM 和 MER。
• 评估不同的记忆写入策略（储备采样、环形缓冲、k-means、特征均值）。
• 分析内存大小如何影响跨数据集的平均准确率和遗忘。
• 提供见解，解释为什么对内存样本的重复训练可以通过数据依赖性效应正则化学习。

实验结果

研究问题

• RQ1 在多样化基准上，带有微小 episodic 记忆的 Experience Replay 是否优于现有的 CL 方法？
• RQ2 记忆大小（即使每类一个样本）如何影响平均准确率和遗忘？
• RQ3 为何在当前任务数据的同时对内存样本进行训练会提升泛化而非导致过拟合？
• RQ4 哪些记忆写入策略最能利用微小记忆，混合方法是否能超越单独策略？
• RQ5 与更强的 CL 基线相比，ER 的计算开销是多少？

主要发现

• 在 MNIST、CIFAR、CUB 和 miniImageNet 上，使用带有微小 episodic 记忆的 ER 显著优于 finetune、EWC、A-GEM 和 MER。
• 当记忆包含每个类别一个样本时，与最先进的 CL 方法相比，获得 7% 到 17% 的提升。
• 在记忆样本上的重复训练不会损害泛化，在对后续任务训练时可以作为数据依赖的正则化。
• 在较大内存时，储备采样表现最佳；而环形缓冲、k-means 和特征均值在极小内存下为确保类别平衡而表现最好。
• 一种混合记忆写入策略（当任何类别代表性不足时从储备切换到环形缓冲）实现了强劲的性能和较好的计算时间。
• ER 通常仅对微调产生适度开销，成本低于 A-GEM 或 MER。