[论文解读] On the importance of cross-task features for class-incremental learning

Albin Soutif--Cormerais, Marc Masana+2 more|arXiv (Cornell University)|Jun 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 6

一句话总结

本文研究了在类别增量学习（class-IL）中跨任务特征的作用，表明尽管回放策略可以缓解遗忘，但类别增量学习中性能差距的主要原因并非遗忘，而是跨任务判别性特征学习不足。作者提出了一种新的遗忘度量方法，并证明知识迁移和特征质量——尤其是跨任务特征学习——对于提升性能（尤其是在数据有限的情况下）比减少遗忘更为关键。

ABSTRACT

In class-incremental learning, an agent with limited resources needs to learn a sequence of classification tasks, forming an ever growing classification problem, with the constraint of not being able to access data from previous tasks. The main difference with task-incremental learning, where a task-ID is available at inference time, is that the learner also needs to perform cross-task discrimination, i.e. distinguish between classes that have not been seen together. Approaches to tackle this problem are numerous and mostly make use of an external memory (buffer) of non-negligible size. In this paper, we ablate the learning of cross-task features and study its influence on the performance of basic replay strategies used for class-IL. We also define a new forgetting measure for class-incremental learning, and see that forgetting is not the principal cause of low performance. Our experimental results show that future algorithms for class-incremental learning should not only prevent forgetting, but also aim to improve the quality of the cross-task features, and the knowledge transfer between tasks. This is especially important when tasks contain limited amount of data.

研究动机与目标

• 探究在测试时无法获取任务ID的情况下，显式学习跨任务特征是否能显著提升类别增量学习（class-IL）的性能。
• 挑战灾难性遗忘是类别增量学习中性能下降主要成因的假设，尤其是在内存受限的情况下。
• 提出并评估一种专为类别增量学习设计的新遗忘度量方法，以更好地反映学习问题的累积性质。
• 评估在基于回放的类别增量学习方法中，跨任务特征学习与知识迁移及偏差校正的相对重要性。
• 证明类别增量学习中的性能提升更多源于特征质量的改善和任务间的知识迁移，而非遗忘的最小化。

提出的方法

• 作者比较了两种微调基线：一种显式学习跨任务特征（FT^BAL_{+CTF}），另一种则不学习（FT^BAL_{-CTF}），并采用平衡记忆采样的回放缓冲区。
• 提出一种新的累积遗忘度量方法，用于评估在所有先前任务上的遗忘情况，而非逐任务评估，以更好地反映类别增量学习的设定。
• 使用任务感知准确率（A_taw）和任务推断准确率（A_tinf）来评估模型性能：A_taw 衡量在提供任务ID时的分类准确率，而 A_tinf 衡量模型在无任务ID情况下将预测正确分配至对应任务的能力。
• 在CIFAR-100上进行实验，共10个任务，每类记忆样本数从20到500不等，以评估内存对特征学习和性能的影响。
• 研究增加内存大小如何影响遗忘和性能，将跨任务特征学习的作用与其他因素（如任务新近偏差）分离。
• 通过比较具有和不具有显式跨任务特征学习的模型之间的性能增益，分析知识迁移，尤其关注正向和反向迁移。

实验结果

研究问题

• RQ1 缺乏显式跨任务特征学习在多大程度上导致了类别增量学习中的性能退化？
• RQ2 灾难性遗忘是否是类别增量学习中性能下降的主要原因，还是其他因素更具影响力？
• RQ3 增加内存大小如何影响类别增量学习中跨任务特征的学习和整体性能？
• RQ4 能否通过改善任务间知识迁移来解释性能提升，而非减少遗忘或提升跨任务特征学习？
• RQ5 任务感知准确率与任务推断准确率在诊断类别增量学习真实挑战方面有何异同？

主要发现

• 根据所提出的累积遗忘度量，类别增量学习与联合训练之间的性能差距并非主要源于灾难性遗忘，该度量显示在所研究设置中遗忘程度极低。
• 即使遗忘为零，随着内存大小的增加，性能仍持续提升，表明遗忘并非类别增量学习的主要瓶颈。
• 跨任务特征学习在每类50个样本后趋于稳定，此后内存增加带来的收益主要来自知识迁移的改善，而非更优的跨任务特征学习。
• 任务推断准确率（A_tinf）随内存大小增加而提升，且具有显式跨任务特征学习的模型（FT^BAL_{+CTF}）与不具该功能的模型（FT^BAL_{-CTF}）之间的差距在50个样本后趋于稳定，表明此时跨任务特征学习已基本完成。
• 两种基线模型的任务感知准确率（A_taw）均随内存大小增加而提升，表明知识迁移——尤其是正向和反向迁移——在性能提升中起着关键作用。
• 结果表明，未来类别增量学习算法应优先提升特征质量及任务间知识迁移，而非仅聚焦于最小化遗忘。