[论文解读] Overcoming Catastrophic Forgetting by Neuron-level Plasticity Control

Inyoung Paik, Sangjun Oh+2 more|arXiv (Cornell University)|Jul 31, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用 4

一句话总结

该论文提出了一种新型持续学习方法——神经元级可塑性控制（NPC），通过基于每个神经元重要性的动态调整学习率，而非约束单个连接权重，在神经元层面实现学习率的动态调节，从而缓解灾难性遗忘。NPC在iMNIST和iCIFAR100数据集上的表现显著优于EWC、MAS和SI等连接级整合方法，分别实现了99.63%和71.87%的平均准确率，同时无需存储特定任务的参数值，从而降低了内存开销。

ABSTRACT

To address the issue of catastrophic forgetting in neural networks, we propose a novel, simple, and effective solution called neuron-level plasticity control (NPC). While learning a new task, the proposed method preserves the knowledge for the previous tasks by controlling the plasticity of the network at the neuron level. NPC estimates the importance value of each neuron and consolidates important extit{neurons} by applying lower learning rates, rather than restricting individual connection weights to stay close to certain values. The experimental results on the incremental MNIST (iMNIST) and incremental CIFAR100 (iCIFAR100) datasets show that neuron-level consolidation is substantially more effective compared to the connection-level consolidation approaches.

研究动机与目标

• 为解决持续学习中顺序训练导致深度神经网络先前学习知识被覆盖的灾难性遗忘问题。
• 克服连接级整合方法的局限性，后者限制单个权重并需要存储特定任务的参数值。
• 通过基于神经元级重要性的动态学习率调整，巩固重要神经元，从而提升知识保留能力。
• 通过仅存储每个神经元的单一重要性值（与任务数量无关），降低内存和计算开销。
• 探索神经元级可塑性作为深度学习中基于权重整合的更有效、更高效替代方案。

提出的方法

• NPC通过任务学习过程中神经元梯度的大小来估计其重要性，将神经元作为整合单位，而非单个权重。
• 通过为被认为对先前任务更重要的神经元应用较低的学习率来控制可塑性，从而保护其学习到的表征。
• 该方法为每个神经元仅使用一个重要性值，避免了在多个任务间存储多组优化权重的需要。
• 神经元重要性通过训练过程中梯度绝对值的平均值计算，反映其对先前任务性能的贡献。
• 损失函数中引入正则化项，惩罚高重要性神经元的变化，从而有效实现其巩固。
• 该方法与标准反向传播兼容，可直接应用于前馈网络和卷积网络，无需架构修改。

实验结果

研究问题

• RQ1 神经元级可塑性控制是否能在缓解灾难性遗忘方面优于传统的连接级整合方法？
• RQ2 在神经元层面控制可塑性是否能比在权重层面正则化带来更好的先前任务知识保留效果？
• RQ3 NPC是否能在不存储特定任务参数值的前提下，保持在多个任务上的高性能，从而降低内存开销？
• RQ4 在NPC下，神经元激活变化的分布如何与它们的重要性相关联？
• RQ5 NPC在iMNIST和iCIFAR100等多样化数据集上是否有效，尤其是在任务复杂度增加时？

主要发现

• 在iMNIST数据集上，NPC实现了99.63%（±0.02）的平均验证准确率，显著优于EWC（95.42%）、MAS（98.76%）、SI（97.24%）和SSL（96.87%）。
• 在iCIFAR100数据集上，NPC实现了71.87%（±0.65）的平均准确率，优于EWC（64.57%）、MAS（65.54%）、SI（57.91%）和SSL（65.16%），仅在任务5略有不足。
• NPC下最重要10%神经元的平均激活变化仅为0.094，而所有神经元的平均值为0.383，表明关键表征得到强有力保护。
• 最重要10%神经元的平均激活变化为0.667，显著高于整体平均值，表明不重要神经元对新任务更具适应性。
• 在无整合的情况下，神经元重要性与激活变化之间无显著相关性，证实NPC能有效识别并保护关键神经元。
• NPC无需存储特定任务的参数，内存使用量与任务数量无关，保持恒定，而连接级方法的内存开销随任务数量线性增长。