[论文解读] Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors

Zhuoyun Li, Changhong Zhong+3 more|arXiv (Cornell University)|Apr 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 21

一句话总结

该论文提出了一种持续学习框架，通过将所有先前学习到的特征提取器融合到统一的分类器中，结合可学习的特征变换和动态剪枝来控制模型规模，从而保留早期知识。该方法通过显著减少灾难性遗忘，特别是在早期学习类别的遗忘方面，实现了在类别增量学习基准上的最先进性能。

ABSTRACT

Continual learning of new knowledge over time is one desirable capability for intelligent systems to recognize more and more classes of objects. Without or with very limited amount of old data stored, an intelligent system often catastrophically forgets previously learned old knowledge when learning new knowledge. Recently, various approaches have been proposed to alleviate the catastrophic forgetting issue. However, old knowledge learned earlier is commonly less preserved than that learned more recently. In order to reduce the forgetting of particularly earlier learned old knowledge and improve the overall continual learning performance, we propose a simple yet effective fusion mechanism by including all the previously learned feature extractors into the intelligent model. In addition, a new feature extractor is included to the model when learning a new set of classes each time, and a feature extractor pruning is also applied to prevent the whole model size from growing rapidly. Experiments on multiple classification tasks show that the proposed approach can effectively reduce the forgetting of old knowledge, achieving state-of-the-art continual learning performance.

研究动机与目标

• 为解决持续学习中的灾难性遗忘问题，特别是早期训练轮次中知识的非均衡遗忘。
• 通过利用所有先前模型的知识而非仅最新模型，提升整体持续学习性能。
• 通过动态剪枝，在不断增加特征提取器的同时保持模型效率。
• 探究融合多个过去特征提取器是否比仅从单个模型进行知识蒸馏更有效。

提出的方法

• 一种知识融合机制将所有先前训练过的特征提取器的特征表示进行融合，每个特征提取器后接一个可学习的变换层，以对齐不同的特征空间。
• 在新类别训练期间，将融合后的特征作为共享分类头的输入，使模型能够访问所有先前学习轮次的知识。
• 在每个新模型训练后应用特征提取器剪枝策略，将卷积核数量和参数量分别减少50–60%和70%，以限制模型增长。
• 在训练过程中保持所有先前的特征提取器冻结，以保护已学习的知识并防止干扰。
• 使用标准的类别增量学习协议，在CIFAR-100及其他数据集上，采用ResNet及其他CNN主干网络对框架进行评估。
• 消融研究比较了融合、特征变换和剪枝的影响，验证了各组件的贡献。

实验结果

研究问题

• RQ1 与仅依赖最新模型相比，融合所有先前特征提取器的知识是否能更有效地减少对早期学习类别的遗忘？
• RQ2 与单模型蒸馏相比，包含多个过去特征提取器是否能提升持续学习性能？
• RQ3 所提出的剪枝机制在不牺牲性能的前提下，控制模型规模的有效性如何？
• RQ4 性能提升是源于模型容量的增加，还是源于固定特征提取器中保留的知识？

主要发现

• 在10轮学习后，该方法在CIFAR-100上实现了70.5%的平均准确率，优于强基线方法，创下新的最先进水平。
• 包含所有先前特征提取器显著减少了对早期学习类别的遗忘，与仅依赖最新模型的方法相比，第一轮学习类别的性能提升了10–15%。
• 消融研究证实，所有组件——融合、特征变换和剪枝——均不可或缺，完整方法在单个旧类别上的准确率为60.5%，而无任何组件时仅为50.7%。
• 移除单个过去特征提取器导致对应类别集的性能明显下降，证实每个提取器均对知识保留有贡献。
• 微调旧的特征提取器会降低性能，证明性能增益源于固定提取器中保留的知识，而非模型容量的提升。
• 使用多个过去模型的简单蒸馏策略表现不如所提出的融合机制，证明特征融合优于直接蒸馏。