[论文解读] Synaptic Plasticity Dynamics for Deep Continuous Local Learning.

Jacques Kaiser, Hesham Mostafa+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Memory and Neural Computing被引用 25

一句话总结

本文提出深度连续局部学习（DECOLLE），一种受生物学启发的脉冲神经网络学习规则，仅通过局部突触可塑性和合成梯度即可实现深层、时序表征学习。通过利用自动微分从用户定义的损失函数推导可塑性规则，DECOLLE 在 MNIST 和 DvsGesture 数据集上的性能与最先进方法相当，实现了低功耗、事件驱动的视觉计算，具备高时间精度。

ABSTRACT

A growing body of work underlines striking similarities between biological neural networks and recurrent, binary neural networks. A relatively smaller body of work, however, discusses similarities between learning dynamics employed in deep artificial neural networks and synaptic plasticity in spiking neural networks. The challenge preventing this is largely caused by the discrepancy between the dynamical properties of synaptic plasticity and the requirements for gradient backpropagation. Learning algorithms that approximate gradient backpropagation using locally synthesized gradients can overcome this challenge. Here, we show that synthetic gradients enable the derivation of Deep Continuous Local Learning (DECOLLE) in spiking neural networks. DECOLLE is capable of learning deep spatio-temporal representations from spikes relying solely on local information. Synaptic plasticity rules are derived systematically from user-defined cost functions and neural dynamics by leveraging existing autodifferentiation methods of machine learning frameworks. We benchmark our approach on the MNIST and the event-based neuromorphic DvsGesture dataset, on which DECOLLE performs comparably to the state-of-the-art. DECOLLE networks provide continuously learning machines that are relevant to biology and supportive of event-based, low-power computer vision architectures matching the accuracies of conventional computers on tasks where temporal precision and speed are essential.

研究动机与目标

• 通过在深层脉冲网络中实现局部、连续学习，弥合人工神经网络训练与生物突触可塑性之间的差距。
• 克服梯度反向传播与脉冲神经网络中局部突触动力学之间的不兼容性。
• 开发一种生物上合理的学习规则，支持神经形态硬件中的深层、连续和事件驱动学习。
• 仅使用局部信息和合成梯度，实现在时序和时空任务上的高精度学习。

提出的方法

• 使用合成梯度将权重更新与误差反向传播解耦，从而在深层脉冲网络中实现局部学习。
• 通过机器学习框架中的自动微分，系统地从用户定义的损失函数推导可塑性规则。
• 该方法利用现有的自动微分工具，生成突触权重的生物上合理的更新规则。
• DECOLLE 在连续、在线学习设置下运行，基于局部误差信号实时更新权重。
• 该方法应用于基于脉冲输入训练的深层脉冲神经网络，支持时序表征学习。
• 该框架在标准基准数据集上进行了评估，包括 MNIST 和事件驱动的 DvsGesture 数据集。

实验结果

研究问题

• RQ1 合成梯度是否能在无需完整反向传播的情况下，实现深层脉冲神经网络中的局部、连续学习？
• RQ2 通过自动微分从损失函数推导出的可塑性规则，能否产生生物上合理且有效的学习动力学？
• RQ3 DECOLLE 在使用事件驱动数据的时空任务（如手势识别）上是否能达到具有竞争力的性能？
• RQ4 DECOLLE 是否能在保持与传统深度学习模型相当精度的同时，支持低功耗、事件驱动的推理？

主要发现

• DECOLLE 仅使用局部学习和合成梯度，在 MNIST 数据集上的性能与最先进方法相当。
• 在事件驱动的 DvsGesture 数据集上，DECOLLE 的准确率与领先模型相当，且仅依赖于局部突触可塑性。
• 该方法实现了深层脉冲网络中的连续、在线学习，支持对时序输入序列的实时自适应。
• 通过自动微分推导出的突触可塑性规则，能有效近似基于梯度的学习，而无需全局误差信号。
• DECOLLE 展示了其在低功耗、神经形态计算架构中的可行性，这些架构优先考虑时间精度和能效。