[论文解读] Towards Robust Evaluations of Continual Learning

Sebastian Farquhar, Yarin Gal|arXiv (Cornell University)|May 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 38被引用 185

一句话总结

本研究批评当前的持续学习评估，提出健全评估的核心愿景，分析偏向前置方法的偏见，并引入更强的实验设计以更好地反映现实世界的持续学习挑战。

ABSTRACT

Experiments used in current continual learning research do not faithfully assess fundamental challenges of learning continually. Instead of assessing performance on challenging and representative experiment designs, recent research has focused on increased dataset difficulty, while still using flawed experiment set-ups. We examine standard evaluations and show why these evaluations make some continual learning approaches look better than they are. We introduce desiderata for continual learning evaluations and explain why their absence creates misleading comparisons. Based on our desiderata we then propose new experiment designs which we demonstrate with various continual learning approaches and datasets. Our analysis calls for a reprioritization of research effort by the community.

研究动机与目标

• 为持续学习评估定义一个正式且具有动机框架。
• 识别并批评常见评估缺陷，这些缺陷会使评估偏向前置方法。
• 提出一组适用于跨数据集的鲁棒持续学习基准的核心愿望。
• 证明在全面、现实的评估制度下，前置方法会失败。
• 引入新实验设计，解决已识别的不足，更好地反映持续学习的挑战。

提出的方法

• 将持续学习形式化为具有非独立同分布数据分割的序列任务学习。
• 将方法分为前置、似然为主，以及具有贝叶斯解释的混合方法。
• 批判性分析常见评估设置（Permuted MNIST、Split MNIST、两任务迁移）是否与现实需求对齐。
• 提出五个核心评估愿望：跨任务相似性、共享输出头、没有测试时任务标签、没有无限制再训练，以及对大量任务的可扩展性。
• 在满足所有愿望的评估与子集评估下，实证比较具有代表性的方法（VCL、EWC、VGR）。
• 推荐并展示更好地捕捉时间/内存约束和隐私考虑的新评估设计。

实验结果

研究问题

• RQ1 常见的持续学习评估是否真实反映了核心持续学习挑战？
• RQ2 前置偏好方法是否会在标准评估设置中产生偏差，在何种设计下会失败？
• RQ3 应有哪些核心愿望来指导跨数据集的鲁棒持续学习评估？
• RQ4 新实验设计是否能减小偏差并揭示当前方法的根本局限？
• RQ5 时间、内存与隐私考量如何融入鲁棒的持续学习基准？

主要发现

• 在满足所有核心愿望的评估下，许多领先的前置方法表现不佳，揭示在标准基准中未观察到的盲点。
• 如 Permuted MNIST 和多头 Split MNIST 之类的评估设置可能偏向前置方法的结果。
• 在全面的愿望基础设计下，似然为主的方法（如 VGR）往往更具鲁棒性。
• 两任务迁移和简化数据集未能捕捉长期的持续学习挑战，可能高估方法能力。
• 提出的评估设计揭示时间/准确度权衡，并把模型不确定性作为任务边界检测的工具。