[论文解读] Using Hindsight to Anchor Past Knowledge in Continual Learning

Arslan Chaudhry, Albert Gordo+3 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出Hindsight Anchor Learning（HAL），一种双层优化方法，通过为每类学习具有代表性的'锚点'数据点来最小化遗忘，从而提升持续学习性能。通过在事后模拟未来遗忘并强制在这些锚点上保持预测不变，HAL在多个基准测试中显著提升了准确率并减少了遗忘，超越了标准经验回放方法。

ABSTRACT

In continual learning, the learner faces a stream of data whose distribution changes over time. Modern neural networks are known to suffer under this setting, as they quickly forget previously acquired knowledge. To address such catastrophic forgetting, many continual learning methods implement different types of experience replay, re-learning on past data stored in a small buffer known as episodic memory. In this work, we complement experience replay with a new objective that we call anchoring, where the learner uses bilevel optimization to update its knowledge on the current task, while keeping intact the predictions on some anchor points of past tasks. These anchor points are learned using gradient-based optimization to maximize forgetting, which is approximated by fine-tuning the currently trained model on the episodic memory of past tasks. Experiments on several supervised learning benchmarks for continual learning demonstrate that our approach improves the standard experience replay in terms of both accuracy and forgetting metrics and for various sizes of episodic memories.

研究动机与目标

• 解决持续学习中的灾难性遗忘问题，即神经网络在接触新任务时迅速丢失先前获得的知识。
• 克服现有经验回放方法的局限性，尽管存储了过去数据，但仍然存在显著遗忘。
• 开发一种方法，通过识别并保留过去任务中关键、难以遗忘的样本的预测，来增强基于记忆的持续学习。
• 通过学习能最大化未来训练下遗忘程度的代表性锚点，提升持续学习中的泛化能力和稳定性。
• 通过将经验回放与新颖的锚定目标相结合，实现在标准持续学习基准上的最先进性能。

提出的方法

• 使用双层优化，联合最小化当前任务损失，同时保持对过去任务中学习到的锚点预测不变。
• 通过在输入空间进行梯度上升来学习锚点，以最大化当前任务的遗忘损失近似值。
• 通过微调模型在过往任务的回忆记忆上的表现，并测量在锚点上的性能下降来近似遗忘。
• 为每个任务的每类构建一个锚点，其位于分类器决策边界附近，此处最可能发生遗忘。
• 将锚定目标整合到经验回放中，模型在当前数据和回忆记忆上进行训练，同时保持对锚点的预测不变。
• 采用嵌套优化方案：外层循环更新模型参数以最小化当前损失，内层循环优化锚点位置以最大化预期遗忘。

实验结果

研究问题

• RQ1 我们能否通过识别并保留过去任务中关键、难以遗忘的样本的预测，来改进持续学习中的经验回放？
• RQ2 通过事后学习锚点——即通过模拟未来遗忘——是否能相比标准回放带来更好的泛化能力和更少的遗忘？
• RQ3 所提出的锚定机制在不同规模的回忆记忆和不同持续学习基准上表现如何？
• RQ4 双层优化能否有效用于学习能增强模型稳定性且不增加内存开销的代表性数据点？
• RQ5 该方法在准确率和遗忘度量方面是否优于现有的正则化、模块化和基于记忆的持续学习方法？

主要发现

• HAL在四个标准持续学习基准上达到最先进性能：MNIST排列、MNIST旋转、分割CIFAR-100和分割miniImageNet。
• 与经验回放基线相比，HAL在所有基准上准确率最高提升7.5%，遗忘率降低近23%。
• HAL的性能增益在不同回忆记忆规模下保持一致，从每类每任务1到5个样本均有效。
• 锚点位于分类器决策边界附近，证实其作为高风险遗忘点的角色。
• 该方法在准确率和遗忘减少方面显著优于强基线方法，包括EWC、ICARL、VCL、AGEM、MER和MIR。
• 消融研究证实锚定目标至关重要，因为移除它后性能相比标准经验回放会下降。