[论文解读] Overcoming Catastrophic Interference by Conceptors

Xu He, Herbert Jaeger|arXiv (Cornell University)|Jul 16, 2017

Neural Networks and Reservoir Computing参考文献 7被引用 10

一句话总结

本文提出Conceptor-Aided Back-Propagation（CAB）方法，通过使用概念器（conceptors）在增量训练过程中保护先前学习任务的表征，从而缓解深度前馈网络中的灾难性遗忘问题。CAB通过将输入投影到正交子空间，既保留了先前任务的记忆，又通过残差误差校正实现新任务的学习，在不相交MNIST和置换MNIST任务上均优于现有方法。

ABSTRACT

Catastrophic interference has been a major roadblock in the research of continual learning. Here we propose a variant of the back-propagation algorithm, "conceptor-aided back-prop" (CAB), in which gradients are shielded by conceptors against degradation of previously learned tasks. Conceptors have their origin in reservoir computing, where they have been previously shown to overcome catastrophic forgetting. CAB extends these results to deep feedforward networks. On the disjoint MNIST task CAB outperforms two other methods for coping with catastrophic interference that have recently been proposed in the deep learning field.

研究动机与目标

• 为解决持续学习中神经网络在学习新任务时遗忘先前任务的问题，即灾难性遗忘问题。
• 通过一种新型反向传播算法，将此前仅用于回声状态网络的基于概念器的正则化方法扩展至深度前馈网络。
• 通过将权重更新限制在先前任务输入模式的正交子空间中，实现在不遗忘的前提下实现增量学习。
• 量化并分析任务相似性（通过概念器重叠）对持续学习场景下学习性能的影响。

提出的方法

• CAB使用概念器为每个任务定义输入模式的线性子空间，通过输入相关矩阵上的岭回归计算得出。
• 对于每个新任务，CAB计算一个概念器 $ C^j $，将输入向量投影到与先前学习任务子空间正交的子空间中，使用 $ F^j = \neg A^{j-1} $，其中 $ A^{j-1} $ 是先前所有概念器的并集。
• 网络在新任务输入上的误差仅在由 $ F^j $ 投影的分量上进行校正，从而在原始子空间中保留已学习的表征。
• 该方法采用增量岭回归来通过 $ W^j_{\text{inc}} = (S S^\top)^{-1} S T^\top $ 更新网络权重，其中 $ S = F^j X^j $ 且 $ T = Y^j - W^{j-1} X^j $。
• 概念器计算为 $ C = R(R + \alpha^{-2}I)^{-1} $，其中 $ R $ 为输入相关矩阵，实现软投影与记忆管理。
• 该方法使用相似性度量 $ \rho(C^i, C^j) $ 量化不同任务子空间之间的重叠，解释了在不相交MNIST与置换MNIST任务中性能差异的原因。

实验结果

研究问题

• RQ1 在持续学习过程中，如何有效缓解深度前馈网络中的灾难性遗忘？
• RQ2 不同任务输入子空间之间的重叠程度在多大程度上影响持续学习算法的性能？
• RQ3 原本为回声状态网络开发的基于概念器的正则化方法，能否成功扩展至标准反向传播的深度网络？
• RQ4 CAB与其它最先进的持续学习方法相比，在遗忘控制与准确率方面表现如何？

主要发现

• CAB在不相交MNIST任务上优于两种近期的深度学习灾难性遗忘缓解方法，表现出更优的持续学习性能。
• 由于概念器重叠较低，置换MNIST任务对CAB而言比不相交MNIST任务更容易：$ \rho(C_{\text{original}}, C_{\text{permuted}}) \approx 0.3 $，而 $ \rho(C_{0\text{to}4}, C_{5\text{to}9}) \approx 0.95 $。
• 由 $ F_{5\text{to}9} $（即自由内存空间）投影的不相交MNIST任务图像明显不如置换MNIST任务图像可辨识，解释了CAB在不相交MNIST任务上表现较差的原因。
• 该方法可通过概念器配额 $ Q(C) $ 监测可用内存空间，该指标衡量任务所占输入空间的比例。
• CAB中的残差误差校正机制仅在与先前任务子空间正交的分量上有效，因此当任务共享高维输入子空间时，性能受到限制。