[论文解读] New Insights on Reducing Abrupt Representation Change in Online Continual Learning

Lucas Caccia, Rahaf Aljundi+4 more|arXiv (Cornell University)|Apr 11, 2021

Domain Adaptation and Few-Shot Learning被引用 45

一句话总结

该论文揭示标准经验回放（ER）在出现新类别时会引起较大表示漂移，并提出不对称损失方法（ER-AML 和 ER-ACE）以缓解漂移，在内存和计算约束下改善在线持续学习性能。

ABSTRACT

In the online continual learning paradigm, agents must learn from a changing distribution while respecting memory and compute constraints. Experience Replay (ER), where a small subset of past data is stored and replayed alongside new data, has emerged as a simple and effective learning strategy. In this work, we focus on the change in representations of observed data that arises when previously unobserved classes appear in the incoming data stream, and new classes must be distinguished from previous ones. We shed new light on this question by showing that applying ER causes the newly added classes' representations to overlap significantly with the previous classes, leading to highly disruptive parameter updates. Based on this empirical analysis, we propose a new method which mitigates this issue by shielding the learned representations from drastic adaptation to accommodate new classes. We show that using an asymmetric update rule pushes new classes to adapt to the older ones (rather than the reverse), which is more effective especially at task boundaries, where much of the forgetting typically occurs. Empirical results show significant gains over strong baselines on standard continual learning benchmarks.

研究动机与目标

• 在出现新类别时，激励并分析 ER 下在线持续学习中的表示漂移。
• 识别任务边界处表示变化突发的根本原因。
• 提出并评估基于不对称损失的方法（ER-AML 与 ER-ACE）以缓解漂移。
• 在受限资源下，在标准在线 CL 基准上展示性能提升。
• 提供计算成本分析，为实际在线学习部署提供参考。

提出的方法

• 在数据流中出现新类别时，经验性诊断由 ER 引起的表示漂移。
• 提出 ER-AML：对进入数据使用距离度量学习损失，负样本仅限于进入批次，与回放缓冲区上的类似交叉熵的损失配对。
• 提出 ER-ACE：一种不对称交叉熵损失，其中 softmax 的分母排除当前批次中不存在的旧类别负样本。
• 推广为一种不对称设置，对进入数据和回放数据应用不同的损失，以在学习新类别的同时保留旧表示。
• 可选地将 ER-ACE 与现有回放方法结合以获得额外提升。
• 在单头、在线、受内存限制设置下，在标准在线 CL 基准上进行评估，并分析计算成本。

实验结果

研究问题

• RQ1 在带回放的在线持续学习中引入新类别时，导致表示突然变化的原因是什么？
• RQ2 对进入数据与回放数据采用不对称损失方案是否可以在不牺牲对新类别学习的前提下减少表示漂移？
• RQ3 在内存和计算限制下，ER-AML 和 ER-ACE 是否在典型的在线 CL 基准上提供稳健的性能？
• RQ4 在计算成本和在线部署的可行性方面，这些方法的比较如何？

主要发现

• 标准回放的 ER 导致旧类别的表示在新类别出现时显著漂移。
• 使用对进入数据与回放数据分开处理的不对称损失可缓解表示漂移，并提高任务边界处的稳定性。
• ER-AML 仅从进入批次中约束负样本的设置降低漂移，并在回放缓冲区较小时带来显著的准确性提升。
• ER-ACE 提供了一种简单的带不对称处理的交叉熵变体，在许多设置中实现了强劲的性能提升，达到甚至超过 ER-AML。
• 在在线单头约束下，ER-AML 与 ER-ACE 在 Split CIFAR-10、Split CIFAR-100 和 Mini-Imagenet 上达到行业领先的结果，相较于 ER、MIR、DER++、和 SS-IL 有显著提升，尤其在内存预算紧张时。
• 所提出的方法在保留对新类别学习能力的同时，维持对旧类别的识别，并且可以与现有方法结合以获得额外提升。