[论文解读] The Effect of Task Ordering in Continual Learning

Samuel J. Bell, Neil D. Lawrence|arXiv (Cornell University)|May 26, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文表明任务顺序对持续学习中的灾难性遗忘具有关键影响，提出一种基于任务间曲率距离的新方法来优化任务序列。通过计算朝向新任务的梯度步长的Hessian曲率，作者发现，与随机序列相比，合理排序可将遗忘减少高达50%，确立任务顺序作为提升持续学习性能的关键超参数。

ABSTRACT

We investigate the effect of task ordering on continual learning performance. We conduct an extensive series of empirical experiments on synthetic and naturalistic datasets and show that reordering tasks significantly affects the amount of catastrophic forgetting. Connecting to the field of curriculum learning, we show that the effect of task ordering can be exploited to modify continual learning performance, and present a simple approach for doing so. Our method computes the distance between all pairs of tasks, where distance is defined as the source task curvature of a gradient step toward the target task. Using statistically rigorous methods and sound experimental design, we show that task ordering is an important aspect of continual learning that can be modified for improved performance.

研究动机与目标

• 探究任务顺序如何影响持续学习中的灾难性遗忘，挑战基准结果与序列顺序无关的假设。
• 探索是否可利用任务顺序作为提升持续学习性能的工具，受课程学习原理启发。
• 开发一种实用方法，利用模型和任务层面的信息（如Hessian曲率和梯度步长）构建有效的任务顺序。
• 通过实证验证，任务顺序是持续学习性能中显著的方差来源，但在标准基准中常被忽视。
• 证明在任务空间中沿累积曲率最大化的路径，始终优于随机顺序和最小曲率顺序。

提出的方法

• 该方法基于Hessian谱半径，计算从先前任务最小值到新任务的首个梯度步长的曲率，以确定任务间的距离。
• 采用图论方法寻找最优任务序列，将任务视为节点，基于曲率的距离作为边。
• 最优路径被选为连续任务对间曲率之和最大的路径，形成“最大和路径”。
• 该方法在合成数据集和真实世界数据集（如MNIST、CIFAR-10、CIFAR-100）上进行评估，使用ReLU和ResNet架构。
• 性能通过任务间平均遗忘率进行衡量，并在多个随机种子和任务序列上应用统计严谨性。
• 该方法假设任务顺序可控制——在主动学习和实际部署中常见——且不改变模型容量或超参数。

实验结果

研究问题

• RQ1 任务呈现的顺序是否显著影响持续学习中的灾难性遗忘？
• RQ2 即使不改变模型架构或超参数，是否可利用任务顺序来减少灾难性遗忘？
• RQ3 是否存在一种系统化的方法来计算任务间距离，以预测顺序对遗忘的影响？
• RQ4 最大曲率和路径与随机、最小曲率及基于真实距离的顺序相比，在减轻遗忘方面表现如何？
• RQ5 随着任务数量的增加，任务顺序的影响是否会减弱？

主要发现

• 任务顺序对灾难性遗忘具有显著且可测量的影响，不同序列下的性能差异明显。
• 最大和曲率路径——即选择任务以最大化累积曲率——始终优于随机和最小曲率顺序，在某些设置中可将遗忘减少高达50%。
• 随着序列长度增加，任务顺序的影响减弱，如CIFAR-10（t=5）与CIFAR-100（t=10）的比较所示，不同顺序间遗忘的方差减小。
• 基于真实任务距离（基于真实参数）的最长路径与最低遗忘率相关，支持了任务间分离越大，表征重叠越小的假设。
• 所提出的基于曲率的方法有效捕捉了任务间关系，无需微调即可系统性构建改进的任务顺序。
• 本研究确立任务顺序是持续学习中一个关键但长期被低估的因素，对基准测试和实际部署具有重要启示。