[论文解读] Spike Event Based Learning in Neural Networks

James A. Henderson, Tingting Gibson+1 more|arXiv (Cornell University)|Feb 20, 2015

Advanced Memory and Neural Computing参考文献 16被引用 16

一句话总结

本文提出了一种生物上合理的事件触发式学习方案，用于脉冲神经网络，该方案仅通过脉冲事件触发局部、在线学习规则，以学习条件瞬时发放率。该方法实现了前馈SNN在动态视觉任务上的端到端训练——在使用DVS相机的动态MNIST数据集上达到87.41%的分类准确率——且无需反向传播或全局统计信息，从而弥合了深度学习与计算神经科学原理之间的鸿沟。

ABSTRACT

A scheme is derived for learning connectivity in spiking neural networks. The scheme learns instantaneous firing rates that are conditional on the activity in other parts of the network. The scheme is independent of the choice of neuron dynamics or activation function, and network architecture. It involves two simple, online, local learning rules that are applied only in response to occurrences of spike events. This scheme provides a direct method for transferring ideas between the fields of deep learning and computational neuroscience. This learning scheme is demonstrated using a layered feedforward spiking neural network trained self-supervised on a prediction and classification task for moving MNIST images collected using a Dynamic Vision Sensor.

研究动机与目标

• 开发一种与神经元动力学、激活函数及网络架构无关的脉冲神经网络学习方案。
• 仅基于脉冲事件实现在线、局部学习，提升生物合理性与计算效率。
• 通过将表征学习与正则化等概念从深度学习迁移到脉冲网络，弥合深度学习与计算神经科学之间的鸿沟。
• 在真实世界的事件驱动视觉任务中，利用动态视觉传感器（DVS）数据验证该方法。
• 证明标准深度学习技术（如dropout与去噪自编码器）可在此学习框架下直接应用于SNN。

提出的方法

• 该学习方案基于脉冲事件估计条件瞬时发放率，无需梯度计算或统计采样。
• 仅在发生脉冲事件时应用两种简单、在线、局部学习规则，使方法具备可扩展性，适用于实时处理。
• 该方法独立于神经元动力学或激活函数，可适用于多种SNN模型，包括使用修正线性单元的网络。
• 网络架构为具有时间延迟连接的分层前馈SNN，通过在DVS MNIST数据上进行自监督预测与分类进行训练。
• 在隐藏层应用dropout以正则化学习并提升泛化能力，证明了深度学习技术的直接可迁移性。
• 可视化感受场与预测场，以展示神经元如何从输入脉冲中学习特定时空模式。

实验结果

研究问题

• RQ1 是否仅基于脉冲事件的学习规则可在无需反向传播的情况下实现脉冲神经网络的有效训练？
• RQ2 利用此事件驱动学习方案，深度学习概念（如dropout与去噪自编码器）在多大程度上可适配于脉冲网络？
• RQ3 所提出的方法是否能在在线、连续时间设置下实现对动态视觉输入的精确预测与分类？
• RQ4 网络中的感受场与预测场在训练过程中如何演化？它们揭示了何种特征表征机制？
• RQ5 该学习方案是否可适用于脉冲与非脉冲神经网络，而无需考虑神经元动力学或激活函数？

主要发现

• 在使用DVS事件输入的动态MNIST数据集上，网络测试分类准确率达到87.41%，证明了其在动态视觉任务上的有效学习能力。
• 全量训练后，分类误差降低至12.59%，误差随时间减少，并与通过ε减半实现的学习率衰减同步。
• 第一隐藏层的感受场从随机初始权重演化为特异性响应，部分神经元对局部像素模式产生调谐，另一些则对分布式特征产生响应。
• 预测场的空间分布比感受场更广泛，表明未来输入的预测被编码在多个神经元之间。
• 无正则化时，网络学习到恒等映射；但加入dropout后，连接变得稀疏且更具信息量，证实该方法与标准深度学习正则化技术的兼容性。
• 该学习方案成功实现了无需中断的在线、局部、连续训练，支持在事件数据流上实时部署。