[论文解读] Unifying Regularisation Methods for Continual Learning

Frederik Benzing|arXiv (Cornell University)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用 4

一句话总结

本文通过证明Elastic Weight Consolidation（EWC）、Synaptic Intelligence（SI）和Memory Aware Synapses（MAS）均近似于Fisher信息矩阵的平方根这一理论基础量，统一了三种主流的持续学习正则化方法。尽管动机各异，SI与MAS表现相似，原因在于SI中此前未知的偏差；作者据此提出Second-Order Synapses（SOS），一种改进方法，在大批次训练中性能优于SI，因其修正了该偏差。

ABSTRACT

Continual Learning addresses the challenge of learning a number of different tasks sequentially. The goal of maintaining knowledge of earlier tasks without re-accessing them starkly conflicts with standard SGD training for artificial neural networks. An influential method to tackle this problem without storing old data are so-called regularisation approaches. They measure the importance of each parameter for solving a given task and subsequently protect important parameters from large changes. In the literature, three ways to measure parameter importance have been put forward and they have inspired a large body of follow-up work. Here, we present strong theoretical and empirical evidence that these three methods, Elastic Weight Consolidation (EWC), Synaptic Intelligence (SI) and Memory Aware Synapses (MAS), are surprisingly similar and are all linked to the same theoretical quantity. Concretely, we show that, despite stemming from very different motivations, both SI and MAS approximate the square root of the Fisher Information, with the Fisher being the theoretically justified basis of EWC. Moreover, we show that for SI the relation to the Fisher -- and in fact its performance -- is due to a previously unknown bias. On top of uncovering unknown similarities and unifying regularisation approaches, we also demonstrate that our insights enable practical performance improvements for large batch training.

研究动机与目标

• 解决持续学习中三种主流正则化方法——EWC、SI和MAS——在实践与理论上相似程度的长期疑问。
• 为SI和MAS的有效性提供理论基础，尽管其在经验上表现成功，但此前缺乏严谨解释。
• 识别并修正SI中此前未知的偏差，该偏差影响其性能并导致其与Fisher信息的相似性。
• 基于对SI底层机制的修正理解，开发一种新的、改进的正则化方法——Second-Order Synapses（SOS）

提出的方法

• 理论分析表明，SI的重要性度量存在偏差，而该偏差导致SI近似于Fisher信息矩阵的平方根。
• 在多个持续学习基准（如Permuted MNIST、Split CIFAR-10/100）上的实证验证确认，SI与MAS均紧密近似于Fisher信息矩阵的平方根。
• 通过修正SI重要性估计中的偏差，提出一种新算法——Second-Order Synapses（SOS），实现更精确的参数重要性测量。
• 该方法通过重加权SI的重要性得分，引入一个去偏重标定步骤，从而提升大批次训练中的稳定性和性能。
• 实验在多个数据集和训练设置下对比SI、SIU（无偏版本）、SIB（有偏版本）和SOS，严格控制超参数、初始化方式和训练时长。
• 理论与实证分析证实，EWC使用Fisher信息矩阵的对角线部分，与SI和MAS所近似的同一基础量保持一致。

实验结果

研究问题

• RQ1 三种主要正则化方法——EWC、SI和MAS——在实践中是否比先前假设的更为相似？
• RQ2 尽管SI和MAS的动机与公式不同，其有效性的理论基础是什么？
• RQ3 SI的性能是否源于其原始动机（即归因于单个参数的损失减少），还是源于其重要性估计中的潜在偏差？
• RQ4 修正后的SI版本是否能在持续学习中实现性能提升，尤其是在大批次训练条件下？
• RQ5 是否存在一个统一的理论量，能够解释EWC、SI和MAS的行为？

主要发现

• SI的性能主要源于其重要性估计中此前未知的偏差，而非其原始动机中关于将损失减少归因于单个参数的设想。
• SI与MAS均近似于Fisher信息矩阵的平方根，解释了尽管推导路径不同，二者在经验上表现相似的原因。
• 理论统一表明，EWC、SI与MAS均与同一基础量——Fisher信息——相关联，为它们的有效性提供了统一的理论基础。
• 所提出的Second-Order Synapses（SOS）算法通过修正SI中的偏差，在Split CIFAR-10/100等标准基准上，于大批次训练中表现优于SI。
• 实证结果表明，训练时长、初始化方式（如Glorot与PyTorch默认）、以及超参数对性能有显著影响，其中更长的训练时间可显著提升基于正则化方法的性能。
• 在Permuted MNIST上，SI的性能可通过将训练轮数从20轮增加到200轮，从90%准确率提升至98%，凸显了训练时长的重要性。