[论文解读] New Insights for the Stability-Plasticity Dilemma in Online Continual Learning

Dahuin Jung, Dongjin Lee+4 more|arXiv (Cornell University)|Feb 17, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出 MuFAN，一种新颖的在线持续学习框架，通过利用预训练编码器的多尺度特征、结构化知识蒸馏损失以保留跨任务知识，以及一个稳定性-可塑性归一化（SPN）模块，分别优化稳定性与可塑性，从而解决稳定性-可塑性困境。MuFAN 在 SVHN、CIFAR100、miniImageNet 和 CORe50 上实现了最先进性能，平均准确率相比现有方法最高提升 6.5%。

ABSTRACT

The aim of continual learning is to learn new tasks continuously (i.e., plasticity) without forgetting previously learned knowledge from old tasks (i.e., stability). In the scenario of online continual learning, wherein data comes strictly in a streaming manner, the plasticity of online continual learning is more vulnerable than offline continual learning because the training signal that can be obtained from a single data point is limited. To overcome the stability-plasticity dilemma in online continual learning, we propose an online continual learning framework named multi-scale feature adaptation network (MuFAN) that utilizes a richer context encoding extracted from different levels of a pre-trained network. Additionally, we introduce a novel structure-wise distillation loss and replace the commonly used batch normalization layer with a newly proposed stability-plasticity normalization module to train MuFAN that simultaneously maintains high plasticity and stability. MuFAN outperforms other state-of-the-art continual learning methods on the SVHN, CIFAR100, miniImageNet, and CORe50 datasets. Extensive experiments and ablation studies validate the significance and scalability of each proposed component: 1) multi-scale feature maps from a pre-trained encoder, 2) the structure-wise distillation loss, and 3) the stability-plasticity normalization module in MuFAN. Code is publicly available at https://github.com/whitesnowdrop/MuFAN.

研究动机与目标

• 为解决由于单点数据训练信号有限而导致的在线持续学习中可塑性-脆弱性加剧的问题。
• 在流式数据设置下，同时提升稳定性（防止遗忘）和可塑性（学习新任务）。
• 克服现有方法依赖单尺度特征、点对点知识蒸馏或标准归一化层的局限性。
• 设计一个统一框架，可在多种持续学习基准上有效扩展。
• 通过消融研究验证多尺度特征、结构化知识蒸馏和 SPN 模块的独立贡献。

提出的方法

• MuFAN 使用从预训练编码器的浅层到深层提取的多尺度特征图，以增强下游分类任务的上下文表征。
• 它引入一种结构化知识蒸馏损失，利用重放缓冲区中非连续任务之间的关系，生成额外的知识保留信号。
• 稳定性-可塑性归一化（SPN）模块并行应用批归一化以提升可塑性，以及空间归一化（IN/LN）以增强稳定性，同时优化两个目标。
• 该框架将这些组件整合到端到端训练流程中，在不访问旧数据的情况下，保持在连续任务上的高性能。
• 结构化知识蒸馏损失通过不同任务的特征图计算对比损失，使用反余弦相似度度量一致性。
• 消融研究验证了每个组件的必要性和可扩展性，包括多尺度特征和 SPN 模块的使用。

实验结果

研究问题

• RQ1 从预训练编码器中提取的多尺度特征如何提升在线持续学习中的性能？
• RQ2 一种利用非连续任务关系的结构化知识蒸馏损失，是否能比点对点知识蒸馏更有效地减少灾难性遗忘？
• RQ3 一种分别优化稳定性与可塑性的双分支归一化模块，是否在在线 CL 中优于标准归一化层？
• RQ4 为有效利用结构化知识蒸馏损失，每个任务的最优样本数量是多少？
• RQ5 MuFAN 在多种持续学习基准上与最先进方法相比表现如何？

主要发现

• MuFAN 在 SVHN、CIFAR100、miniImageNet 和 CORe50 上均实现最先进性能，在 CORe50 上相比之前最先进方法平均准确率提升 6.5%。
• 结构化知识蒸馏损失显著减少遗忘，当每个任务样本数 N ≥ 5 时性能趋于稳定，且在 N = 10 或 20 时未观察到性能下降。
• SPN 模块优于所有基线归一化层，包括 SN 和 CN，在 CORe50 上达到 52.80% 准确率和 61.90% LA，分别超过 CN 1.62% 和 2.62%。
• 消融研究证实，多尺度特征、结构化知识蒸馏和 SPN 三个组件均对性能有显著贡献，其中 SPN 对稳定性的提升作用最大。
• SPN 模块中使用 IN 和 LN 用于稳定性、BN 用于可塑性时，在 miniImageNet 上实现 72.7% 的 LA，分别优于 BN+IN 和 BN+LN 5.3 和 5.3 个百分点。
• 该框架展现出强大的可扩展性，将多尺度特征集成到现有在线 CL 方法（如 ER-Ring）中，可带来一致的性能提升。