[论文解读] Towards Training Recurrent Neural Networks for Lifelong Learning

Shagun Sodhani, Sarath Chandar+1 more|arXiv (Cornell University)|Nov 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用 15

一句话总结

本文提出一种统一方法，结合梯度情景记忆（GEM）以缓解灾难性遗忘，并结合Net2Net实现循环神经网络（RNNs）的实时容量扩展，从而实现有效的终身学习。在基于课程的基准测试中，该统一模型在保留知识方面优于单一组件和强基线模型，同时实现了可扩展的模型增长。

ABSTRACT

Catastrophic forgetting and capacity saturation are the central challenges of any parametric lifelong learning system. In this work, we study these challenges in the context of sequential supervised learning with an emphasis on recurrent neural networks. To evaluate the models in the lifelong learning setting, we propose a curriculum-based, simple, and intuitive benchmark where the models are trained on tasks with increasing levels of difficulty. To measure the impact of catastrophic forgetting, the model is tested on all the previous tasks as it completes any task. As a step towards developing true lifelong learning systems, we unify Gradient Episodic Memory (a catastrophic forgetting alleviation approach) and Net2Net(a capacity expansion approach). Both these models are proposed in the context of feedforward networks and we evaluate the feasibility of using them for recurrent networks. Evaluation on the proposed benchmark shows that the unified model is more suitable than the constituent models for lifelong learning setting.

研究动机与目标

• 解决灾难性遗忘和容量饱和——这是在RNN进行序列监督学习时终身学习面临的关键挑战。
• 开发一种统一模型，结合灾难性遗忘缓解（通过GEM）和动态容量扩展（通过Net2Net）以应用于RNN。
• 提出一种基于课程的、直观的基准测试，用于评估具有任务难度递增和持续评估历史任务的终身学习系统。
• 证明GEM与Net2Net的联合使用可实现比独立方法更优的知识保留、迁移能力以及可扩展性。

提出的方法

• 设计一个基于课程的基准，其中任务难度逐步提升，并在每个新任务学习后对所有先前任务进行测试。
• 将梯度情景记忆（GEM）集成到RNN中，通过使用存储的样本约束权重更新，以稳定对先前任务的学习。
• 应用Net2Net技术，通过将一个较小的预训练网络转换为更大的网络，实现RNN容量的扩展。
• 端到端训练统一的小型LSTM-GEM-Net2Net模型，利用GEM防止遗忘，并通过Net2Net按需扩展容量。
• 在三种任务分布（复制任务、联想回忆任务和SSMNIST任务）下，将统一模型与独立的GEM、大容量LSTM以及大容量LSTM-GEM基线进行比较。
• 通过在所有任务上绘制准确率热力图的细粒度评估，分析遗忘、迁移和正向泛化情况。

实验结果

研究问题

• RQ1 结合GEM与Net2Net的统一模型是否能在RNN的终身学习中优于单一组件？
• RQ2 所提出的基于课程的基准如何实现对终身学习系统更可靠的评估？
• RQ3 通过Net2Net实现的容量扩展在序列学习中在多大程度上减少了灾难性遗忘？
• RQ4 与大容量、固定容量的模型相比，统一模型是否在未见的未来任务上实现了更好的正向泛化？

主要发现

• 统一的小型LSTM-GEM-Net2Net模型在知识保留方面优于独立的GEM和Net2Net模型。
• 该模型在平均未来任务准确率上优于大容量LSTM-GEM模型，尤其在复制任务上表现更优，且与大容量LSTM模型相当或更优。
• 热力图分析显示，统一模型在先前任务上保持了高准确率（主对角线下方区域），表明其对灾难性遗忘具有强鲁棒性。
• 尽管未专门设计用于正向泛化，该统一模型在未见的未来任务上的泛化能力与大容量LSTM模型相当或更优。
• 该模型成功完成的任务数量多于大容量LSTM-GEM模型，表明其在终身学习中具备更好的可扩展性和实际应用价值。
• 结果表明，联合解决灾难性遗忘和容量饱和问题可显著提升终身学习的整体性能。