[论文解读] Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks

Wenrui Zhang, Peng Li|arXiv (Cornell University)|Feb 24, 2020

Advanced Memory and Neural Computing参考文献 24被引用 119

一句话总结

本文提出 TSSL-BP，一种基于反向传播的方法，用于训练深度脉冲神经网络，以学习任意目标时间脉冲序列，具有极低延迟（5–10 time steps）和在 MNIST、N-MNIST、FashionMNIST 以及 CIFAR10 上的更高准确性。

ABSTRACT

Spiking neural networks (SNNs) are well suited for spatio-temporal learning and implementations on energy-efficient event-driven neuromorphic processors. However, existing SNN error backpropagation (BP) methods lack proper handling of spiking discontinuities and suffer from low performance compared with the BP methods for traditional artificial neural networks. In addition, a large number of time steps are typically required to achieve decent performance, leading to high latency and rendering spike-based computation unscalable to deep architectures. We present a novel Temporal Spike Sequence Learning Backpropagation (TSSL-BP) method for training deep SNNs, which breaks down error backpropagation across two types of inter-neuron and intra-neuron dependencies and leads to improved temporal learning precision. It captures inter-neuron dependencies through presynaptic firing times by considering the all-or-none characteristics of firing activities and captures intra-neuron dependencies by handling the internal evolution of each neuronal state in time. TSSL-BP efficiently trains deep SNNs within a much shortened temporal window of a few steps while improving the accuracy for various image classification datasets including CIFAR10.

研究动机与目标

• 证明一种反向传播方法，能够在 SNNs 中准确学习目标时间脉冲序列。
• 在不对尖峰进行平滑处理的情况下解决尖峰的不可微分性，以保留时间精度。
• 实现以短的时间窗口（5–10 time steps）进行训练和推理，以降低延迟和能量消耗。
• 在多个图像数据集上显示优于先前 SNN BP 方法的准确性。

提出的方法

• 将误差反向传播分解为神经元间依赖和神经元内依赖，以捕捉时间动力学。
• 使用前突触放电时间来建模神经元间的依赖，反映全或一的尖峰行为。
• 通过分析跨时间的神经元状态演变和尖峰时序来建模神经元内依赖。
• 定义基于 Van Rossum 距离的目标尖峰序列与实际尖峰序列之间的损失，并通过时间反向传播，采用双通道依赖方法。
• 推导对 PSC 相对于前突触放电时间的导数，避免尖峰激活平滑。
• 展示在 CNN 与全连接 SNN 架构上的训练，并在 MNIST、NMNIST、FashionMNIST、CIFAR10 上进行评估。

实验结果

研究问题

• RQ1 TSSL-BP 能否在深度 SNN 中以高准确性学习任意时间脉冲序列？
• RQ2 如何将神经元间和神经元内的时间依赖形式化，以在不平滑的情况下处理尖峰的不连续性？
• RQ3 在 SNN 的训练和推理中，能够实现的延迟（时间步数）是多少，以获得具有竞争力的准确性？
• RQ4 与现有的 SNN BP 方法、转换的 SNN 和 ANN 相比，TSSL-BP 在标准图像数据集上的表现如何？

主要发现

• TSSL-BP 在跨数据集的短时间窗口5–10 time steps 下实现高准确性。
• 在 MNIST 上，TSSL-BP 在 5 time steps 时达到最高 99.53% 的准确率，超过了许多 SNN BP 方法并达到最先进水平，同时将延迟比某些方法降低约 80x。
• 在 N-MNIST 上，该方法在仅 30 time steps 时达到最高 99.40% 的最佳准确率（与某些基线相比，减少了 3.3x 与 10x 的对比）。
• 在 FashionMNIST 上，TSSL-BP 在全连接网络上达到 89.80%，在脉冲 CNN 上达到 92.83%，仅用 5 time steps，优于若干先前方法。
• 在 CIFAR10 上，TSSL-BP 仅用 5 time steps 实现 89.22%（CNN1）和 91.41%（CNN2）的准确率，较转换后的 SNNs 和 STBP 变体有所提升。
• 该方法在训练后的网络中产生稀疏放电（例如在 CIFAR10 的 5 time steps 下超过 84% 静默；在 N-MNIST 的 100 steps 下超过 75% 静默）。