[论文解读] Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint

Dong Yin, Mehrdad Farajtabar+3 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 14

一句话总结

本文通过使用二阶泰勒展开建模任务损失函数，提出了一种用于正则化持续学习的统一损失近似框架。该框架建立了优化收敛性和泛化性的理论保证，表明准确的海森矩阵近似至关重要——这一结论在Permuted MNIST、Rotated MNIST和Split CIFAR基准上通过Kronecker分解拉普拉斯近似优于EWC和SI得到实证验证。

ABSTRACT

Neural networks have achieved remarkable success in many cognitive tasks. However, when they are trained sequentially on multiple tasks without access to old data, their performance on early tasks tend to drop significantly. This problem is often referred to as catastrophic forgetting, a key challenge in continual learning of neural networks. The regularization-based approach is one of the primary classes of methods to alleviate catastrophic forgetting. In this paper, we provide a novel viewpoint of regularization-based continual learning by formulating it as a second-order Taylor approximation of the loss function of each task. This viewpoint leads to a unified framework that can be instantiated to derive many existing algorithms such as Elastic Weight Consolidation and Kronecker factored Laplace approximation. Based on this viewpoint, we study the optimization aspects (i.e., convergence) as well as generalization properties (i.e., finite-sample guarantees) of regularization-based continual learning. Our theoretical results indicate the importance of accurate approximation of the Hessian matrix. The experimental results on several benchmarks provide empirical validation of our theoretical findings.

研究动机与目标

• 解决持续学习中灾难性遗忘问题，即模型在顺序训练过程中遗忘先前任务。
• 为基于正则化的持续学习方法提供一个理论基础框架。
• 将Elastic Weight Consolidation (EWC) 和Kronecker分解拉普拉斯近似等现有算法统一于一个共同的损失近似视角之下。
• 在该统一框架下分析优化收敛性和泛化性特征。
• 通过标准持续学习基准对理论发现进行实证验证。

提出的方法

• 将基于正则化的持续学习表述为每个任务损失函数的二阶泰勒近似。
• 利用近似的海森矩阵构建一个二次正则化项，以惩罚对先前任务重要权重的偏离。
• 推导出一个统一的优化目标，将当前任务损失与近似的过去任务损失相结合。
• 建立在近似损失上进行梯度下降收敛至真实损失最小值的理论条件。
• 在损失近似框架下提供有限样本的泛化保证。
• 在Permuted MNIST、Rotated MNIST和Split CIFAR-100基准上对框架进行实证验证。

实验结果

研究问题

• RQ1 如何基于损失函数近似，将基于正则化的持续学习统一于单一理论框架之下？
• RQ2 在何种条件下，对近似损失函数的优化可收敛至真实损失最小值？
• RQ3 海森矩阵近似的准确性如何影响持续学习中的优化与泛化性能？
• RQ4 参数空间在任务之间的移动以及高阶导数在算法性能中扮演何种角色？
• RQ5 关于海森矩阵准确性的理论预测在标准基准上的实证结果中有多大的一致性？

主要发现

• 在所有基准上，Kronecker分解拉普拉斯近似的表现优于EWC和SI，在32个周期后于Permuted MNIST上达到96.0%的准确率。
• 在Rotated MNIST上，Kronecker在32个周期后达到81.9%的准确率，显著优于EWC（62.4%）和SI（58.3%）。
• 在Split CIFAR上，Kronecker在32个周期后达到59.9%的准确率，超过EWC（44.0%）和SI（45.3%）。
• 实证结果证实，当海森矩阵近似不准确时，每个任务的训练时间越长，性能反而越差，与理论预测一致。
• 海森矩阵近似精度是算法成功的关键决定因素，近似不佳将导致次优的收敛与泛化性能。
• Kronecker的计算成本比EWC高出5–10倍，表明在实际应用中海森矩阵精度与效率之间存在权衡。