[论文解读] Stimulating STDP to Exploit Locality for Lifelong Learning without Catastrophic Forgetting.

Jason M. Allred, Kaushik Roy|arXiv (Cornell University)|Feb 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 10被引用 5

一句话总结

该论文提出了一种脉冲神经网络（SNN）框架，利用脉冲时间依赖可塑性（STDP）并结合多巴胺样刺激，仅选择性地更新处理新颖、异常信息的神经元，从而在持续学习过程中防止灾难性遗忘。在MNIST数据集上，该系统在顺序学习互不重叠的数据集时，准确率最高达到93.88%，展现出在非受控、动态环境中的鲁棒性。

ABSTRACT

Stochastic gradient descent requires that training samples be drawn from a uniformly random distribution of the data. For a deployed system that must learn online from an uncontrolled and unknown environment, the ordering of input samples often fails to meet this criterion, making lifelong learning a difficult challenge. We exploit the locality of the unsupervised Spike Timing Dependent Plasticity (STDP) learning rule to target subsets of a segmented Spiking Neural Network (SNN) to adapt to novel information while protecting the information in the remainder of the SNN from catastrophic forgetting. In our system, novel information triggers stimulated firing, inspired by biological dopamine signals, to boost STDP in the synapses of neurons associated with outlier information. This targeting controls the forgetting process in a way that reduces accuracy degradation while learning new information. Our preliminary results on the MNIST dataset validate the capability of such a system to learn successfully over time from an unknown, changing environment, achieving up to 93.88% accuracy for a completely disjoint dataset.

研究动机与目标

• 解决在非受控、非平稳环境中运行的持续学习系统中灾难性遗忘的挑战。
• 克服随机梯度下降（SGD）要求数据顺序均匀随机的局限性，该条件在现实世界的在线学习中常被违反。
• 利用STDP的局部性，仅选择性地更新处理新颖或异常输入的神经子网络。
• 在适应新信息的同时，最小化对先前学习任务的准确率下降。
• 实现在部署系统中稳定、增量式的持续学习，而无需重新训练或事先了解数据分布。

提出的方法

• 将脉冲神经网络划分为子网络，以实现学习的局部化并隔离记忆区域。
• 使用脉冲时间依赖可塑性（STDP）作为核心无监督学习规则，根据突触前与突触后脉冲的时间关系强化突触。
• 引入多巴胺样刺激信号，仅在处理新颖或异常输入的神经元中触发增强的STDP活动。
• 选择性地对与新信息相关的突触施加刺激，从而聚焦可塑性并最小化对已有知识的干扰。
• 通过脉冲活动模式动态识别异常输入，并在检测到此类输入时激活刺激。
• 通过将可塑性限制在特定、与上下文相关的子网络中，维持先前学习表征的完整性。

实验结果

研究问题

• RQ1 能否通过新颖或异常输入的选择性增强STDP基可塑性，以减少灾难性遗忘？
• RQ2 多巴胺样刺激在增量学习过程中如何提升已学习表征的稳定性？
• RQ3 脉冲神经网络在不出现性能下降的情况下，能多大程度上从一系列互不重叠的数据集进行学习？
• RQ4 基于输入新颖性将可塑性靶向特定子网络，是否能提高学习效率和准确率保留？
• RQ5 该方法在无需均匀随机数据顺序的在线、非平稳环境中是否能有效运行？

主要发现

• 该系统成功地从一系列互不重叠的MNIST数据集序列中进行学习，且未出现灾难性遗忘。
• 所提方法在最终数据集上的测试准确率最高达到93.88%，表明先前知识的强健保留。
• 对新颖输入响应的选择性STDP刺激有效减少了对先前学习表征的干扰。
• 使用多巴胺样信号实现了靶向可塑性，最小化了网络中不受控的权重更新。
• 该方法在多个学习阶段均保持高性能，即使数据分布完全互不重叠。
• 该系统在非受控、动态环境中表现出鲁棒性，其中数据顺序违反了标准SGD的独立同分布（i.i.d.）假设。