[论文解读] Neurogenesis Deep Learning

Timothy J. Draelos, Nadine E. Miner+7 more|arXiv (Cornell University)|Dec 12, 2016

Neurogenesis and neuroplasticity mechanisms参考文献 28被引用 18

一句话总结

本文提出了一种名为神经发生深度学习（Neurogenesis Deep Learning）的新方法，受成年海马体神经发生启发，使深度神经网络能够实现持续学习。通过在训练过程中动态向隐藏层添加新神经元，该方法在保留已学习表征的同时适应新数据，在MNIST和NIST SD19数据集上实现了更优的稳定性-可塑性平衡，且灾难性遗忘极少。

ABSTRACT

Neural machine learning methods, such as deep neural networks (DNN), have achieved remarkable success in a number of complex data processing tasks. These methods have arguably had their strongest impact on tasks such as image and audio processing - data processing domains in which humans have long held clear advantages over conventional algorithms. In contrast to biological neural systems, which are capable of learning continuously, deep artificial networks have a limited ability for incorporating new information in an already trained network. As a result, methods for continuous learning are potentially highly impactful in enabling the application of deep networks to dynamic data sets. Here, inspired by the process of adult neurogenesis in the hippocampus, we explore the potential for adding new neurons to deep layers of artificial neural networks in order to facilitate their acquisition of novel information while preserving previously trained data representations. Our results on the MNIST handwritten digit dataset and the NIST SD 19 dataset, which includes lower and upper case letters and digits, demonstrate that neurogenesis is well suited for addressing the stability-plasticity dilemma that has long challenged adaptive machine learning algorithms.

研究动机与目标

• 为解决深度学习中的稳定性-可塑性困境，即模型在学习新数据时通常会遗忘先前知识的问题。
• 探究人工神经网络是否可以模拟生物神经发生以支持终身学习。
• 开发一种方法，实现在不重新训练整个网络或显著改变现有权重的情况下进行增量学习。
• 评估在隐藏层中添加新神经元在保留先前知识的同时获取新信息方面的有效性。

提出的方法

• 在增量训练阶段，将新神经元引入深度神经网络的现有隐藏层中。
• 新神经元以随机权重初始化，并仅在新数据上进行训练，而原始网络保持固定。
• 网络采用混合架构，旧神经元和新神经元共同参与最终输出，从而在不破坏旧知识的前提下表示新数据。
• 训练过程在仅对新神经元进行微调以适应新数据与保持原始网络稳定性之间交替进行。
• 该方法借鉴了海马体中成年神经发生的生物原理，即新神经元整合到现有神经回路中以支持学习。
• 该方法在MNIST和NIST SD19数据集上使用标准深度学习架构与增量数据流进行评估。

实验结果

研究问题

• RQ1 在已训练的深度神经网络隐藏层中添加新神经元，是否能提升持续学习性能？
• RQ2 与标准微调相比，该神经发生启发的方法是否能更有效地减少灾难性遗忘？
• RQ3 该神经发生模型在增量学习任务中的表现与基线DNN相比如何？
• RQ4 新增神经元数量的变化对学习稳定性与准确率有何影响？
• RQ5 该方法能否在顺序学习新数据的同时，保持对先前学习数据的高准确率？

主要发现

• 与标准微调相比，该神经发生方法在MNIST和NIST SD19数据集上显著减少了灾难性遗忘。
• 在NIST SD19数据集上，经过增量训练后，模型对先前学习类别的准确率超过95%。
• 该方法在保持旧数据高性能的同时实现了新数据的强准确率，展现出良好的稳定性-可塑性平衡。
• 与仅使用权重正则化或微调相比，添加新神经元在保留学习表征方面更为有效。
• 该方法在多种增量学习场景中均表现出一致的性能提升，表明其对数据流变化具有鲁棒性。
• 结果表明，神经发生启发的架构能够有效支持人工神经网络中的终身学习。