[论文解读] Online Continual Learning with Maximal Interfered Retrieval

Rahaf Aljundi, Eugene Belilovsky+5 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning被引用 206

一句话总结

本文提出最大干扰检索（Maximal Interfered Retrieval, MIR），一种新颖的在线持续学习方法，通过有选择性地从记忆中检索出预计在后续参数更新中受负面影响最大的样本，从而改进记忆回放。通过在回放过程中优先处理这些高干扰样本，MIR 显著减少了灾难性遗忘，并在标准基准测试中实现了最先进性能，优于随机和标准回放基线方法。

ABSTRACT

Continual learning, the setting where a learning agent is faced with a never-ending stream of data, continues to be a great challenge for modern machine learning systems. In particular the online or single-pass through the data setting has gained attention recently as a natural setting that is difficult to tackle. Methods based on replay, either generative or from a stored memory, have been shown to be effective approaches for continual learning, matching or exceeding the state of the art in a number of standard benchmarks. These approaches typically rely on randomly selecting samples from the replay memory or from a generative model, which is suboptimal. In this work, we consider a controlled sampling of memories for replay. We retrieve the samples which are most interfered, i.e. whose prediction will be most negatively impacted by the foreseen parameters update. We show a formulation for this sampling criterion in both the generative replay and the experience replay setting, producing consistent gains in performance and greatly reduced forgetting. We release an implementation of our method at https://github.com/optimass/Maximally_Interfered_Retrieval

研究动机与目标

• 为解决在线持续学习中的灾难性遗忘问题，即模型在不重新访问过去样本的情况下持续接收数据流。
• 改进现有基于回放的持续学习方法，这些方法依赖于存储经验的随机或启发式采样。
• 开发一种原则性、动态的采样策略，以识别并优先处理最易受干扰影响的样本。
• 在经验回放和生成回放设置下，通过标准持续学习基准测试展示一致的性能提升。

提出的方法

• 该方法基于预测未来参数更新对每个存储样本预测的预期负面影响（干扰）来制定检索标准。
• 通过估计在下一次前向传播和权重更新后，模型对该样本输出的退化程度，计算每个记忆样本的干扰分数。
• 在经验回放中，模型从过去样本的存储缓冲区中检索干扰分数最高的前k个样本。
• 在生成回放中，通过生成候选样本并选择预测干扰最大的样本，检索最受影响的样本。
• 该方法可无缝集成到在线持续学习流程中，对网络架构改动极小。
• 该方法已在 https://github.com/optimass/Maximally_Interfered_Retrieval 公开发布，以支持可复现性和社区使用。

实验结果

研究问题

• RQ1 动态的、基于干扰感知的采样策略是否能提升在线持续学习中的回放性能？
• RQ2 与随机或均匀采样相比，优先处理预测干扰最大的样本在回放中表现如何？
• RQ3 所提出的方法是否在不同基准测试中比现有基于回放的方法更有效地减少遗忘？
• RQ4 基于干扰的检索策略是否能在经验回放和生成回放设置中均有效应用？
• RQ5 基于干扰的检索策略对长期连续学习流中的模型准确率和稳定性有何影响？

主要发现

• 所提出的最大干扰检索方法在多个持续学习基准测试中，相对于随机和标准回放基线方法，均实现了稳定的性能提升。
• 通过检索预测干扰最高的样本，该方法在在线学习过程中显著减少了灾难性遗忘。
• 该方法在经验回放和生成回放设置下，均优于现有的最先进方法。
• 该方法在单次通过、在线持续学习设置中表现出鲁棒性和有效性，而该设置通常被认为极具挑战性。
• 该实现已公开发布，支持可复现性，并推动基于干扰感知的持续学习进一步研究。