[论文解读] SupportNet: solving catastrophic forgetting in class incremental learning with support data

Li Yu, Zhongxiao Li+6 more|arXiv (Cornell University)|Jun 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 53被引用 26

一句话总结

SupportNet 通过使用支持向量机（SVM）生成的紧凑且信息丰富的支持数据，在持续学习中缓解灾难性遗忘。它将这些支持数据与新数据结合，并应用两种整合正则化方法，实现与从头开始训练全部数据相当的性能，优于当前最先进方法。

ABSTRACT

A plain well-trained deep learning model often does not have the ability to learn new knowledge without forgetting the previously learned knowledge, which is known as catastrophic forgetting. Here we propose a novel method, SupportNet, to efficiently and effectively solve the catastrophic forgetting problem in the class incremental learning scenario. SupportNet combines the strength of deep learning and support vector machine (SVM), where SVM is used to identify the support data from the old data, which are fed to the deep learning model together with the new data for further training so that the model can review the essential information of the old data when learning the new information. Two powerful consolidation regularizers are applied to stabilize the learned representation and ensure the robustness of the learned model. We validate our method with comprehensive experiments on various tasks, which show that SupportNet drastically outperforms the state-of-the-art incremental learning methods and even reaches similar performance as the deep learning model trained from scratch on both old and new data. Our program is accessible at: https://github.com/lykaust15/SupportNet

研究动机与目标

• 解决在新数据上持续训练时，深度学习模型因遗忘旧知识而产生的灾难性遗忘问题。
• 开发一种高效方法，在避免从头训练的同时保持旧任务的性能。
• 识别并利用旧类别中具有代表性、信息量高的样本（支持数据），以稳定新类别的学习过程。
• 通过结合深度学习与基于SVM的支持向量选择，实现持续学习中稳定性与可塑性的平衡。
• 通过两种新颖的整合正则化方法，提升模型的泛化能力与鲁棒性，稳定学习到的表征。

提出的方法

• SupportNet 使用预训练的深度神经网络，并在旧类别的最后一层特征上训练SVM，以识别支持向量。
• 这些支持向量——代表旧类别的样本——被存储并在增量训练期间与新数据一起回放。
• 通过联合损失函数进行微调，该损失函数包含新数据和支持数据的交叉熵损失，以确保知识保留。
• 应用两种整合正则化方法：一种用于稳定特征表征，另一种用于保持旧类的决策边界。
• 在每次增量学习步骤中，动态地将之前类别的支持数据纳入，模拟回放机制，而无需存储完整的旧数据集。
• 支持向量基于其在SVM决策边界中的几何重要性进行选择，确保高信息含量。

实验结果

研究问题

• RQ1 在旧类特征上训练的SVM所生成的支持向量，能否以紧凑形式有效代表旧类的核心信息？
• RQ2 在增量训练中回放支持数据，对旧任务和新任务的模型性能有何影响？
• RQ3 与现有正则化方法和回放基方法相比，SupportNet 在多大程度上能减少灾难性遗忘？
• RQ4 在使用支持数据与整合正则化方法时，稳定性与可塑性之间的平衡如何影响模型性能？
• RQ5 SupportNet 是否能在不存储原始旧数据的情况下，实现接近完整微调的性能？

主要发现

• SupportNet 在多个基准测试中，包括 CIFAR-100 和 Tiny ImageNet，均优于当前最先进方法。
• 在 CIFAR-100 上，SupportNet 实现 84.3% 的平均准确率，显著优于 iCaRL（78.9%）及其他基线方法。
• 与完整微调基线相比，性能下降控制在约 13%，表现出强大的稳定性。
• 在酶功能预测数据集上，SupportNet 维持 83.9% 的测试准确率，而 iCaRL 下降至 62.9%，表明其过拟合更少。
• 消融实验表明，通过SVM选择支持数据至关重要：若移除支持数据，iCaRL 性能下降 37%，而 SupportNet 仅下降 7%。
• 两种整合正则化方法显著提升鲁棒性：稳定性正则化器减少表征漂移，可塑性正则化器促进对新类的有效适应。