[论文解读] Regularization Shortcomings for Continual Learning

Timothée Lesort, Andrei Stoian+1 more|arXiv (Cornell University)|Dec 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 20

一句话总结

本文表明，在类增量场景中，基于正则化的持续学习方法无法学习到任务间的类别判别能力，此时模型在推理时必须在无任务标签的情况下区分来自不同任务的类别。理论与实证分析表明，正则化无法解耦不同任务间的特征，即使权重受到保护，仍会导致灾难性遗忘和泛化性能差。

ABSTRACT

In most machine learning algorithms, training data is assumed to be independent and identically distributed (iid). When it is not the case, the algorithm's performances are challenged, leading to the famous phenomenon of catastrophic forgetting. Algorithms dealing with it are gathered in the Continual Learning research field. In this paper, we study the regularization based approaches to continual learning and show that those approaches can not learn to discriminate classes from different tasks in an elemental continual benchmark: the class-incremental scenario. We make theoretical reasoning to prove this shortcoming and illustrate it with examples and experiments. Moreover, we show that it can have some important consequences on continual multi-tasks reinforcement learning or in pre-trained models used for continual learning. We believe that highlighting and understanding the shortcomings of regularization strategies will help us to use them more efficiently.

研究动机与目标

• 研究基于正则化的持续学习在类增量场景中的局限性。
• 从理论上和实证上证明正则化无法学习区分来自不同任务的类别。
• 表明推理时缺乏任务标签会削弱正则化策略的有效性。
• 将分析扩展至多任务强化学习和预训练模型，揭示更广泛的影响。
• 主张跨任务的特征解耦是超越灾难性遗忘本身的 fundamental 挑战。

提出的方法

• 形式化定义仅在训练期间提供任务标签的类增量持续学习场景。
• 通过理论视角分析正则化方法，重点关注正则化项在不同任务间保持不变的特性。
• 使用 t-SNE 可视化比较不同持续学习策略（正则化 vs. 重放）在特征空间中的解耦程度。
• 在 MNIST-Fellowship 基准上进行实验，以验证理论结论。
• 将分析扩展至单类任务、多任务强化学习和预训练模型，以推广研究发现。
• 将正则化方法与基于重放的方法进行比较，突出两者在特征空间解耦上的差异。

实验结果

研究问题

• RQ1 当推理时无任务标签时，基于正则化的持续学习方法能否区分来自不同任务的类别？
• RQ2 正则化无法实现跨任务判别的理论基础是什么？
• RQ3 推理时缺乏任务标签在多大程度上影响正则化策略的性能？
• RQ4 在每任务仅一个类别或在多任务强化学习场景中，正则化方法的失效程度如何？
• RQ5 在无初始数据或正则化项的情况下，能否通过正则化有效微调预训练模型以避免灾难性遗忘？

主要发现

• 由于推理时缺乏任务标签，正则化方法在类增量场景中无法学习到跨任务的类别判别能力。
• 理论分析表明，正则化项无法提供足够的归纳偏置以解耦不同任务间的特征。
• 在 MNIST-Fellowship 上的实验确认，正则化模型无法区分来自不同任务的类别。
• t-SNE 可视化显示，仅基于重放的策略能在潜在空间中清晰解耦来自不同任务的数据。
• 失败原因不仅在于灾难性遗忘，还在于对过去任务特征选择不足。
• 这些缺陷在单类任务、多任务强化学习以及预训练模型微调场景中同样存在，正则化在无初始数据或正则化项的情况下无法有效保护知识。