[论文解读] Re-evaluating Continual Learning Scenarios: A Categorization and Case for Strong Baselines

Yen-Chang Hsu, Yen‐Cheng Liu+2 more|arXiv (Cornell University)|Oct 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 206

一句话总结

论文对持续学习场景进行了分类，提供了统一的评估框架，并显示简单的基线在跨任务中就能与最先进方法比肩；同时发布了用于公平基准测试的 PyTorch 代码。

ABSTRACT

Continual learning has received a great deal of attention recently with several approaches being proposed. However, evaluations involve a diverse set of scenarios making meaningful comparison difficult. This work provides a systematic categorization of the scenarios and evaluates them within a consistent framework including strong baselines and state-of-the-art methods. The results provide an understanding of the relative difficulty of the scenarios and that simple baselines (Adagrad, L2 regularization, and naive rehearsal strategies) can surprisingly achieve similar performance to current mainstream methods. We conclude with several suggestions for creating harder evaluation scenarios and future research directions. The code is available at https://github.com/GT-RIPL/Continual-Learning-Benchmark

研究动机与目标

• 对持续学习实验方法进行系统分类。
• 开发统一框架以生成并评估持续学习场景。
• 在一致的调参与预算下，将当前最先进的方法与强基线进行对比。
• 突出哪些场景真正困难，哪些简单方法就足够。
• 为更难、更加现实的持续学习基准提出方向。

提出的方法

• 按输入/输出分布和任务身份在 T1 到 T2 的差异来分类持续学习场景。
• 提出一个统一、灵活的框架，用于在一致设置下生成任务序列并评估方法。
• 在 Split MNIST 和 Permuted MNIST 上比较广泛的基线（Adagrad、L2、naive rehearsal）与最先进的持续学习方法。
• 在方法间控制总内存开销，以实现公平比较。
• 分析超参数调优如何影响正则化型方法相对于强基线的性能。

实验结果

研究问题

• RQ1 现有的持续学习场景在任务和分布偏移方面有何差异，如何进行连贯的分类？
• RQ2 在统一的评估框架下，简单基线（如 Adagrad、L2、naive rehearsal）是否能匹配或超越最先进的持续学习方法？
• RQ3 关于增量任务、领域和类别学习场景的相对难度，有哪些新见解？
• RQ4 数据分割或置换的选择如何影响感知难度和比较的公平性？
• RQ5 有哪些建议可以提升持续学习基准的现实性和挑战性？

主要发现

• Adagrad 和 L2 正则化在多数场景中往往优于在线 EWC，并且在各场景与 SI 水平并驾齐驱。
• 当记忆开销匹配时，naive rehearsal 的表现与许多最先进方法相当甚至更好。
• 增量任务学习是最容易的场景；增量类别学习比增量领域学习更困难，置换型设置通常比分割型更容易。
• 正则化型方法需要大量超参数调优，而简单基线在不调参的情况下也能表现良好，这引发对其真实世界适用性的担忧。
• Permuted MNIST 场景对许多方法相对更容易，指出需要更难的基准。