[论文解读] Toward Understanding Catastrophic Forgetting in Continual Learning

Cuong V. Nguyen, Alessandro Achille+4 more|arXiv (Cornell University)|Aug 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 33

一句话总结

该论文提出一个通用方法，研究任务序列属性如何与灾难性遗忘相关，将其应用于总复杂度和序列异质性，并利用 Task2Vec 嵌入，报告 SI、VCL 和 cored VCL 在 MNIST 和 CIFAR-10 上的最终错误率与之相关的相关性。

ABSTRACT

We study the relationship between catastrophic forgetting and properties of task sequences. In particular, given a sequence of tasks, we would like to understand which properties of this sequence influence the error rates of continual learning algorithms trained on the sequence. To this end, we propose a new procedure that makes use of recent developments in task space modeling as well as correlation analysis to specify and analyze the properties we are interested in. As an application, we apply our procedure to study two properties of a task sequence: (1) total complexity and (2) sequential heterogeneity. We show that error rates are strongly and positively correlated to a task sequence's total complexity for some state-of-the-art algorithms. We also show that, surprisingly, the error rates have no or even negative correlations in some cases to sequential heterogeneity. Our findings suggest directions for improving continual learning benchmarks and methods.

研究动机与目标

• 了解影响持续学习错误率的任务序列属性。
• 提出通过任务空间嵌入来量化任务序列属性的通用方法。
• 将该方法应用于两个属性：总复杂度和序列异质性。
• 分析这些属性与最先进的持续学习方法的最终错误率之间的相关性。

提出的方法

• 使用 Task2Vec 将任务映射为来自预训练探针网络的嵌入向量。
• 将任务级复杂度 C(t) 定义为与简单任务的距离，C(t)=d(e_t,e_0)。
• 将总复杂度 C(T) 定义为任务序列 T 的求和 C(T)=sum_t C(t)。
• 将序列异质性 F(T) 定义为相邻任务之间两两不相似性的总和，F(t_i,t_{i+1})=d(e_{t_i},e_{t_{i+1}})。
• 将实际难度 H_A(T) 作为在该序列上训练的持续学习算法 A 的最终错误率来衡量。
• 在多个序列中计算 (C(T),F(T)) 与 H_A(T) 的皮尔逊相关，并在适当情况下控制序列长度和复杂度。
• 在 MNIST 和 CIFAR-10 上使用多组任务序列和多头设置，对 SI、VCL 和 cored VCL 进行实验。

实验结果

研究问题

• RQ1 哪些任务序列属性（如总复杂度、序列异质性）与持续学习的难度相关？
• RQ2 任务序列的复杂度是否主要驱动遗忘，或相邻任务之间的相异性是否起到重要作用？
• RQ3 现代持续学习算法（SI、VCL、coreset VCL）对这些序列属性的变化有何反应？

主要发现

变量	算法	MNIST-256^2	MNIST-50	MNIST-20	CIFAR-10
(a) 总复杂度	SI	0.24 (p<0.01)	0.22 (p<0.05)	0.36 (p<0.01)	0.86 (p<0.01)
(a) 总复杂度	VCL	0.05 (p=0.59)	0.17 (p=0.07)	0.21 (p<0.05)	0.69 (p<0.01)
(a) 总复杂度	Coreset VCL	0.28 (p<0.01)	0.41 (p<0.01)	0.37 (p<0.01)	-
(b) 序列异质性	SI	-0.01 (p=0.86)	0.05 (p=0.55)	0.07 (p=0.48)	0.30 (p<0.01)
(b) 序列异质性	VCL	0.04 (p=0.69)	0.01 (p=0.88)	0.05 (p=0.58)	0.21 (p<0.05)
(b) 序列异质性	Coreset VCL	0.09 (p=0.31)	0.12 (p=0.18)	0.18 (p=0.05)	-
(c) 归一化序列异质性	SI	-0.07 (p=0.43)	-0.04 (p=0.65)	0.05 (p=0.58)	-0.25 (p<0.01)
(c) 归一化序列异质性	VCL	0.03 (p=0.76)	-0.20 (p<0.05)	-0.21 (p<0.05)	-0.17 (p=0.06)
(c) 归一化序列异质性	Coreset VCL	-0.08 (p=0.37)	-0.26 (p<0.01)	-0.16 (p=0.07)	-

• 总复杂度与 CIFAR-10 在 SI、VCL 和 cored VCL 的最终错误率呈强正相关（例如 SI r=0.86, p<0.01）。
• 在 MNIST 上，总复杂度与错误率的相关性较弱但仍为正相关，且当模型容量下降时增强。
• 序列异质性与错误率的相关性较弱或呈混合关系，有时在归一化序列异质性时呈负相关。
• 归一化序列异质性的负相关性表明，相邻任务之间的更大不相似性在某些情况下可能提升持续学习的表现。
• coreset VCL 在所有测试的 CIFAR-10 和 MNIST 配置中，错误率与总复杂度之间存在强正相关（例如 MNIST-256^2: 0.28, p<0.01； CIFAR-10: 0.69, p<0.01）。
• 结果表明在设计基准和算法时应考虑任务复杂度，并且任务之间的迁移可能需要针对任务对进行定制。