[论文解读] Small-Task Incremental Learning.

Arthur Douillard, Matthieu Cord+3 more|arXiv (Cornell University)|Apr 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

该论文提出PODNet，一种通过基于空间的蒸馏和类别特定的代理向量来缓解小任务增量学习中灾难性遗忘的终身学习模型。在CIFAR100、ImageNet100和ImageNet1000上，其准确率分别取得了12.10、6.51和2.85个百分点的SOTA性能提升，证明了其在长序列增量学习中的稳健表现。

ABSTRACT

Lifelong learning has attracted much attention, but existing works still struggle to fight catastrophic forgetting and accumulate knowledge over long stretches of incremental learning. In this work, we propose PODNet, a model inspired by representation learning. By carefully balancing the compromise between remembering the old classes and learning new ones, PODNet fights catastrophic forgetting, even over very long runs of small incremental tasks --a setting so far unexplored by current works. PODNet innovates on existing art with an efficient spatial-based distillation-loss applied throughout the model and a representation comprising multiple proxy vectors for each class. We validate those innovations thoroughly, comparing PODNet with three state-of-the-art models on three datasets: CIFAR100, ImageNet100, and ImageNet1000. Our results showcase a significant advantage of PODNet over existing art, with accuracy gains of 12.10, 6.51, and 2.85 percentage points, respectively. Code is available at this https URL

研究动机与目标

• 解决在长序列小任务增量学习中灾难性遗忘的挑战。
• 克服现有方法在长期增量学习场景中难以维持性能的局限性。
• 开发一种基于表示学习的模型，高效平衡知识保留与新任务学习。
• 引入一种新颖的蒸馏机制和代理向量架构，以增强类别判别力和记忆保留。
• 在包括大规模ImageNet1000在内的多样化数据集上，于真实增量学习设置下验证模型的有效性。

提出的方法

• 在整个网络中应用基于空间的蒸馏损失，以保留先前任务的特征表示。
• 为每个类别引入多个代理向量，以更好地表征类别特定特征，并提升增量学习中的判别能力。
• 采用表示学习框架，使代理向量与主干网络共同优化，以维持类别边界。
• 通过空间对齐，将旧任务特征的知识蒸馏到新任务特征中，以减少遗忘。
• 端到端训练模型，结合交叉熵损失与蒸馏损失，以平衡学习与保留。
• 设计架构以在不降低性能的前提下，高效扩展至长序列增量学习。

实验结果

研究问题

• RQ1 基于表示学习的方法是否能有效缓解在长序列小任务增量学习中的灾难性遗忘？
• RQ2 与标准蒸馏相比，基于空间的蒸馏在增量学习中保留旧任务知识方面表现如何？
• RQ3 每个类别使用多个代理向量在增量设置中对分类准确率和特征判别力的提升程度如何？
• RQ4 所提出方法是否能在不同复杂度的数据集（包括ImageNet1000）上实现良好泛化？
• RQ5 在长期增量学习运行中，PODNet的性能与SOTA模型相比，在准确率和稳定性方面表现如何？

主要发现

• 在长序列增量学习设置下，PODNet在CIFAR100上的准确率相比现有方法提升了12.10个百分点。
• 在ImageNet100上，PODNet准确率提升了6.51个百分点，表明其在大规模数据集上具有强大泛化能力。
• 在ImageNet1000上，PODNet实现了2.85个百分点的性能提升，表明其在真实世界设置中具备可扩展性和鲁棒性。
• 空间蒸馏与代理向量的结合显著减少了遗忘，尤其在后期增量阶段效果更明显。
• PODNet在所有三个基准数据集上均优于三种SOTA模型，证实其在长期增量学习中的优越性。
• 即使在处理数百个小型增量任务后，该模型仍能保持高性能，这是大多数现有方法此前未曾探索的领域。