[论文解读] Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks

Wenrui Zhang, Peng Li|arXiv (Cornell University)|Aug 18, 2019

Advanced Memory and Neural Computing被引用 73

一句话总结

Spike-Train Level RSNN Backpropagation (ST-RSBP) 在不展开时间的情况下训练深度递归脉冲神经网络，并在与现有 SNN BP 方法和非脉冲模型的多个语音和图像数据集上取得了最先进的结果。

ABSTRACT

Spiking neural networks (SNNs) well support spatiotemporal learning and energy-efficient event-driven hardware neuromorphic processors. As an important class of SNNs, recurrent spiking neural networks (RSNNs) possess great computational power. However, the practical application of RSNNs is severely limited by challenges in training. Biologically-inspired unsupervised learning has limited capability in boosting the performance of RSNNs. On the other hand, existing backpropagation (BP) methods suffer from high complexity of unrolling in time, vanishing and exploding gradients, and approximate differentiation of discontinuous spiking activities when applied to RSNNs. To enable supervised training of RSNNs under a well-defined loss function, we present a novel Spike-Train level RSNNs Backpropagation (ST-RSBP) algorithm for training deep RSNNs. The proposed ST-RSBP directly computes the gradient of a rated-coded loss function defined at the output layer of the network w.r.t tunable parameters. The scalability of ST-RSBP is achieved by the proposed spike-train level computation during which temporal effects of the SNN is captured in both the forward and backward pass of BP. Our ST-RSBP algorithm can be broadly applied to RSNNs with a single recurrent layer or deep RSNNs with multiple feed-forward and recurrent layers. Based upon challenging speech and image datasets including TI46, N-TIDIGITS, Fashion-MNIST and MNIST, ST-RSBP is able to train RSNNs with an accuracy surpassing that of the current state-of-art SNN BP algorithms and conventional non-spiking deep learning models.

研究动机与目标

• 激励并使通用 RSNN 的有定义的损失函数的监督训练成为可能。
• 开发一种可扩展的反向传播方法，能够在不完全时间展开的情况下处理时间动态。
• 推导脉冲序列级别的误差传播，在提高训练效率的同时保持脉冲跳变的不连续性。
• 在具有多层前馈和递归层的深层 RSNN 上演示该方法，覆盖语音和图像任务。

提出的方法

• 引入 spike-train level RSNN backpropagation (ST-RSBP)，它计算对可训练参数的速率编码损失梯度，而无需时间展开。
• 定义 Spike-train PSPs (S-PSP) 和 total PSPs (T-PSP)，以捕捉前/后突触脉冲序列交互。
• 使用脉冲-train 级导数和耦合线性系统来处理递归连接，推导输出层和隐藏层的反向传播误差。
• 求解一个线性系统，以获得激活对先前激活的偏导数，从而实现高效反向传播。
• 应用速率编码损失 E = 1/2 ||o − y||^2，其中 o ≈ a/ν，并推导梯度更新 Δw = η ∂E/∂w。
• 在具有多层的 RSNN 上演示 ST-RSBP，并与 HM2-BP 和其他 SNN BP 方法进行比较。

实验结果

研究问题

• RQ1 ST-RSBP 能否在不展开时间的情况下，训练具有任意拓扑结构（包括递归连接）的深层 RSNN？
• RQ2 脉冲序列级梯度是否相对于现有的 BP 方法在语音和图像 SNN 基准测试上提供更高的准确性？
• RQ3 在相同任务上，ST-RSBP 相对于最先进的非脉冲模型的表现如何？
• RQ4 ST-RSBP 对于不同数据集的 RSNN 和脉冲 CNN 都有效吗？

主要发现

• ST-RSBP 在 TI46-Alpha（最佳 93.35%，结构为 400-400-400）、TI46-Digits（最佳 99.39%）和 N-Tidigits（最佳 93.13%）上获得高于当前最先进 SNN BP 方法的准确率。
• 在 Fashion-MNIST 上，ST-RSBP 以 400-R400 达到最佳 90.13%，且均值/标准差为 0.14%。
• 在 MNIST 脉冲 CNN 上，ST-RSBP 达到 99.62% 的最佳准确率，优于同类架构上的 HM2-BP 和其他 BP 规则。
• ST-RSBP 在相同数据集上优于传统的非脉冲模型（如 LSTM/GRN）。
• 该方法在不展开时间的情况下训练 RSNN，并避免梯度消失/爆炸，同时准确传播脉冲序列级信息。