[论文解读] Natural continual learning: success is a journey, not (just) a destination

Ta-Chu Kao, Kristopher T. Jensen+3 more|arXiv (Cornell University)|Jun 15, 2021

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出自然持续学习（NCL），一种统一方法，结合贝叶斯权重正则化与基于后验精度的信任域优化，以防止前馈和循环神经网络中的灾难性遗忘。NCL 通过随时间保持任务特定动力学，模仿生物神经回路，优于现有的正则化和基于投影的方法。

ABSTRACT

Biological agents are known to learn many different tasks over the course of their lives, and to be able to revisit previous tasks and behaviors with little to no loss in performance. In contrast, artificial agents are prone to 'catastrophic forgetting' whereby performance on previous tasks deteriorates rapidly as new ones are acquired. This shortcoming has recently been addressed using methods that encourage parameters to stay close to those used for previous tasks. This can be done by (i) using specific parameter regularizers that map out suitable destinations in parameter space, or (ii) guiding the optimization journey by projecting gradients into subspaces that do not interfere with previous tasks. However, these methods often exhibit subpar performance in both feedforward and recurrent neural networks, with recurrent networks being of interest to the study of neural dynamics supporting biological continual learning. In this work, we propose Natural Continual Learning (NCL), a new method that unifies weight regularization and projected gradient descent. NCL uses Bayesian weight regularization to encourage good performance on all tasks at convergence and combines this with gradient projection using the prior precision, which prevents catastrophic forgetting during optimization. Our method outperforms both standard weight regularization techniques and projection based approaches when applied to continual learning problems in feedforward and recurrent networks. Finally, the trained networks evolve task-specific dynamics that are strongly preserved as new tasks are learned, similar to experimental findings in biological circuits.

研究动机与目标

• 为解决持续学习中的灾难性遗忘问题，即人工智能代理在学习新任务时性能下降于先前任务。
• 将权重正则化与梯度投影方法统一于一个基于贝叶斯推断的、原理清晰的框架中。
• 提升前馈与循环神经网络中持续学习的性能，尤其在非恒等任务设置下。
• 探究人工网络中学习到的神经动力学是否与生物回路中观察到的动力学相似。
• 为现有对超参数调优敏感或优化路径次优的持续学习方法，提供一个理论基础坚实且可扩展的替代方案。

提出的方法

• NCL 使用贝叶斯权重正则化，以促使参数收敛至先前任务近似后验分布的最大值。
• 利用先前任务的后验精度矩阵构建信任域，将参数更新限制在先前重要方向的零空间内。
• 通过使用后验精度的逆矩阵对梯度进行预处理，执行自然梯度下降，确保更新不会干扰先前任务的性能。
• 该方法将标准正则化与基于投影的方法统一为特例，NCL 是一种更合理且更有效的变体。
• 对于循环网络，NCL 能够随时间保持任务特定的潜在动力学，类似于生物神经回路。
• 该方法通过修改后的优化过程实现，将当前任务的损失与先前任务后验分布导出的正则项相结合。

实验结果

研究问题

• RQ1 能否通过结合贝叶斯正则化与信任域优化的统一框架，在前馈与循环网络中均优于现有持续学习方法？
• RQ2 使用 NCL 训练的人工神经网络的动力学与持续学习过程中生物神经回路中观察到的动力学相比如何？
• RQ3 使用后验精度作为预处理矩阵，是否能带来比标准正则化或投影方法更稳定、更有效的优化路径？
• RQ4 在非凸持续学习问题中，当局部最小值因优化策略不同而异时，NCL 表现如何？
• RQ5 在测试时无需显式提供任务身份的情况下，NCL 是否能保持对先前学习任务的高性能？

主要发现

• 在前馈与循环神经网络的持续学习任务中，NCL 优于标准权重正则化与基于投影的方法。
• 在非凸优化问题中，NCL 的收敛局部最小值优于拉普拉斯法与投影梯度法，表现为更低的综合损失值。
• NCL 训练的网络展现出稳定、任务特定的潜在动力学，且随时间保持不变，与生物神经回路中的发现相似。
• 即使在任务需求开始饱和网络容量时，该方法仍能有效缓解灾难性遗忘，这是先前方法的已知失效案例。
• NCL 的信任域机制基于后验精度，为启发式投影或正则化方案提供了更鲁棒、理论基础更坚实的替代方案。
• 理论分析表明，先前基于投影的方法（如 Duncker 等，2020；Zeng 等，2019）是 NCL 信任域优化的近似，从而证明了其更广泛的应用潜力。