[论文解读] Semantic Drift Compensation for Class-Incremental Learning

Lu Yu, Bartłomiej Twardowski+6 more|arXiv (Cornell University)|Apr 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 16

一句话总结

本文提出语义漂移补偿（Semantic Drift Compensation, SDC）方法，用于嵌入网络中的类别增量学习，通过仅使用当前任务数据来估计并校正先前任务原型的特征分布偏移（语义漂移），而无需存储样本。SDC 显著减少了遗忘，在 CIFAR100 和 ImageNet-Subset 上的性能优于当前最先进的非样本方法，并与基于样本的方法相当或更优。

ABSTRACT

Class-incremental learning of deep networks sequentially increases the number of classes to be classified. During training, the network has only access to data of one task at a time, where each task contains several classes. In this setting, networks suffer from catastrophic forgetting which refers to the drastic drop in performance on previous tasks. The vast majority of methods have studied this scenario for classification networks, where for each new task the classification layer of the network must be augmented with additional weights to make room for the newly added classes. Embedding networks have the advantage that new classes can be naturally included into the network without adding new weights. Therefore, we study incremental learning for embedding networks. In addition, we propose a new method to estimate the drift, called semantic drift, of features and compensate for it without the need of any exemplars. We approximate the drift of previous tasks based on the drift that is experienced by current task data. We perform experiments on fine-grained datasets, CIFAR100 and ImageNet-Subset. We demonstrate that embedding networks suffer significantly less from catastrophic forgetting. We outperform existing methods which do not require exemplars and obtain competitive results compared to methods which store exemplars. Furthermore, we show that our proposed SDC when combined with existing methods to prevent forgetting consistently improves results.

研究动机与目标

• 解决在不存储样本（如图像）条件下的灾难性遗忘问题，尤其适用于隐私和数据安全受限的场景。
• 探究嵌入网络是否相较于传统分类网络在持续学习中天然具有更少遗忘的特性。
• 提出一种在新任务训练过程中估计并补偿先前任务原型语义漂移的方法。
• 设计一种与现有正则化方法（如 EWC、MAS、LwF）兼容的技术，以进一步提升性能。
• 证明仅使用当前任务数据即可估计并校正原型漂移，从而避免对过去数据记忆的需求。

提出的方法

• 使用将输入映射到度量空间的嵌入网络，其中类别原型表示为类别均值，从而在不改变网络结构的前提下自然支持新类别的引入。
• 通过分析当前任务数据相对于先前学习的原型的分布偏移，来估计先前任务原型中的语义漂移。
• 通过利用从当前任务特征中推导出的漂移向量，对先前任务的原型进行调整以实现漂移补偿。
• 通过重新中心化或重新加权原型来实施补偿，且无需访问过去的数据。
• 将 SDC 与现有正则化技术（如 EWC、MAS、LwF）结合，以增强其在防止遗忘方面的性能。
• 使用基于学习原型的最近类均值（NCM）分类方法，并通过真实类别均值与预测原型之间的距离来评估漂移。

Figure 1: T-SNE visualization of embedding space after finetuning. A, B, C indicate prototypes of task 1 after training task 1; A’,B’,C’ and D,E,F respectively for task 1 and 2 after training for task 2. The semantic drift (indicating forgetting) from task 1 is given by red vectors. Our method estim

实验结果

研究问题

• RQ1 与标准分类网络相比，嵌入网络在类别增量学习中是否能更有效地减少灾难性遗忘？
• RQ2 在仅使用当前任务数据的条件下，能否有效估计先前任务原型中的语义漂移？
• RQ3 所提出的 SDC 方法在不存储样本的情况下，对原型漂移的补偿效果如何？
• RQ4 将 SDC 与现有正则化方法（如 EWC、MAS）结合是否能带来一致的性能提升？
• RQ5 在遗忘率和准确率方面，SDC 与基于样本和非样本的当前最先进方法相比表现如何？

主要发现

• 嵌入网络在灾难性遗忘方面显著优于传统分类网络，表明基于度量的学习在持续学习中具有优势。
• 与基线微调方法相比，所提出的 SDC 方法在平均上将原型漂移减少了 30%，该结果在 T-SNE 可视化和定量距离测量中均得到验证。
• 在 CIFAR100 上，E-EWC+SDC 的平均增量准确率比 EWC 高 27.6%，比性能强劲的基于样本方法 iCaRL-CNN 高 7.1%。
• 在 ImageNet-Subset 上，E-EWC+SDC 的准确率比 LwF 高 35.0%，比 iCaRL-CNN 高 15.5%，且平均遗忘率比 Rebalance 低 3.5%。
• 与 CIFAR100 上最佳的基于样本方法（Rebalance）相比，SDC 将平均遗忘率降低了 13.9%，证明其在遗忘缓解方面具有优越性。
• 当与 EWC、MAS 和 LwF 结合时，SDC 均能持续提升性能，表明其在不同正则化策略下具有强兼容性和良好的泛化能力。

Figure 2: Average incremental accuracy for finetuning trained and evaluated with softmax (FT) , finetuning trained with softmax but classified with NCM (FT*), and trained with metric learning loss and classified with NCM (E-FT). In addition, we report joint training (Joint). The results show that co