[论文解读] Reducing Representation Drift in Online Continual Learning.

Lucas Caccia, Rahaf Aljundi+3 more|arXiv (Cornell University)|Apr 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 5

一句话总结

本文提出了一种新颖方法，通过基于度量学习的损失函数改进经验回放，战略性地选择负样本，以减少在线持续学习中的表征漂移。通过在新类别到来时稳定先前见过类别的表征，该方法在在线持续学习基准上实现了最先进性能，且计算和内存开销极低。

ABSTRACT

In the online continual learning paradigm, agents must learn from a changing distribution while respecting memory and compute constraints. Previous work in this setting often tries to reduce catastrophic forgetting by limiting changes in the space of model parameters. In this work we instead focus on the change in representations of observed data that arises when previously unobserved classes appear in the incoming data stream, and new classes must be distinguished from previous ones. Starting from a popular approach, experience replay, we consider metric learning based loss functions which, when adjusted to appropriately select negative samples, can effectively nudge the learned representations to be more robust to new future classes. We show that this selection of negatives is in fact critical for reducing representation drift of previously observed data. Motivated by this we further introduce a simple adjustment to the standard cross entropy loss used in prior experience replay that achieves similar effect. Our approach directly improves the performance of experience replay for this setting, obtaining state-of-the-art results on several existing benchmarks in online continual learning, while remaining efficient in both memory and compute. We release an implementation of our experiments at this https URL

研究动机与目标

• 解决在线持续学习中的表征漂移问题，即在引入新类别时，先前见过类别的表征质量下降。
• 通过修改度量学习中负样本的选择方式，提升对未见未来类别的表征鲁棒性。
• 通过简单但有效的交叉熵损失调整，增强标准经验回放，减少表征漂移。
• 在保持内存和计算效率的同时，在在线持续学习基准上实现最先进性能。

提出的方法

• 该方法引入一种基于度量学习的损失函数，从先前见过的类别中动态选择困难负样本，以稳定表征。
• 通过引入选择性负样本采样策略，修改经验回放中使用的标准交叉熵损失，以减少表征漂移。
• 该方法利用了表征漂移源于新类别引入时旧类别表征模糊或分离不良的原理。
• 使用内存缓冲区存储过往数据，并在回放过程中应用改进的损失函数，以保持特征空间几何的一致性。
• 负样本采样策略优先选择最可能引发漂移的样本，确保旧类别表征对新类别干扰具有鲁棒性。
• 该方法计算效率高，且与现有在线持续学习框架兼容，无需架构更改。

实验结果

研究问题

• RQ1 在度量学习中战略性地选择负样本，如何影响在线持续学习中的表征稳定性？
• RQ2 对标准交叉熵损失进行简单修改，是否能在不增加计算成本的前提下减少表征漂移？
• RQ3 改进的负样本采样在多大程度上提升了在线持续学习基准上的性能？
• RQ4 与先前的经验回放方法相比，该方法在应对概念漂移方面的鲁棒性如何？

主要发现

• 所提方法通过在训练期间聚焦于先前见过类别中的困难负样本，显著减少了表征漂移。
• 修改后的交叉熵损失实现了与基于度量学习的方法相当的性能，但实现更简单且计算开销更低。
• 该方法在多个在线持续学习基准上实现了最先进结果，优于标准经验回放和先前方法。
• 该方法保持了高效率，与基线经验回放相比，仅需极小的内存和计算增加。