[论文解读] Understanding Regularisation Methods for Continual Learning.

Frederik Benzing|arXiv (Cornell University)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 6

一句话总结

本文通过理论和实证分析表明，突触智能（Synaptic Intelligence）与记忆感知突触（Memory Aware Synapses）近似于费雪信息（Fisher Information）的缩放版本，这是一种理论上合理的持续学习重要性度量。研究揭示了突触智能近似中的偏差，解释了其优异性能的原因，统一并解释了关键正则化方法的有效性。

ABSTRACT

The problem of Catastrophic Forgetting has received a lot of attention in the past years. An important class of proposed solutions are so-called regularisation approaches, which protect weights from large changes according to their importances. Various ways to measure this importance have been put forward, all stemming from different theoretical or intuitive motivations. We present mathematical and empirical evidence that two of these methods -- Synaptic Intelligence and Memory Aware Synapses -- approximate a rescaled version of the Fisher Information, a theoretically justified importance measure also used in the literature. As part of our methods, we show that the importance approximation of Synaptic Intelligence is biased and that, in fact, this bias explains its performance best. Altogether, our results offer a theoretical account for the effectiveness of different regularisation approaches and uncover similarities between the methods proposed so far.

研究动机与目标

• 理解持续学习中正则化方法的理论基础。
• 探究诸如突触智能与记忆感知突触等流行方法是否近似于一个理论上合理的度量重要性指标。
• 分析近似偏差在正则化方法性能中的作用。
• 通过将其与共同的理论基础关联，统一多种正则化方法。

提出的方法

• 通过数学推导证明突触智能与记忆感知突触近似于费雪信息矩阵的缩放版本。
• 在持续学习场景中，通过实证评估比较近似的重要性度量与真实费雪信息。
• 分析突触智能重要性近似中的偏差及其对性能的影响。
• 使用缩放技术使近似结果与理论费雪信息度量对齐。
• 在持续学习基准上评估正则化性能，以关联近似质量与模型准确率。

实验结果

研究问题

• RQ1 突触智能与记忆感知突触是否近似于费雪信息矩阵，一种理论上合理的度量重要性指标？
• RQ2 近似偏差在突触智能等正则化方法性能中起什么作用？
• RQ3 不同重要性度量在理论与实证上与费雪信息的对齐程度如何比较？
• RQ4 正则化方法的有效性是否可以通过其对共同理论基础的近似来解释？

主要发现

• 突触智能与记忆感知突触均近似于费雪信息矩阵的缩放版本，为其有效性提供了理论依据。
• 突触智能的近似存在偏差，且该偏差被证明是其表现出优异实证性能的关键因素。
• 理论与实证证据证实，这两种方法通过其对费雪信息的共同近似而密切相关。
• 本研究揭示，正则化方法在持续学习中的成功可归因于其与理论上合理的重要性度量的对齐。