[论文解读] Spike time displacement based error backpropagation in convolutional spiking neural networks

Maryam Mirsadeghi, Majid Shalchian+2 more|arXiv (Cornell University)|Aug 31, 2021

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出将STiDi-BP算法扩展至使用单脉冲时间编码的深度卷积脉冲神经网络（CSNN）训练，通过利用脉冲发放时间位移实现误差反向传播，避免递归反向传播。在MNIST上达到99.2%的准确率，在Fashion-MNIST上达到92.8%；同时引入一种二值化权重变体，仅导致0.6–0.8%的准确率下降，显著降低内存与计算开销，适用于高效硬件部署。

ABSTRACT

We recently proposed the STiDi-BP algorithm, which avoids backward recursive gradient computation, for training multi-layer spiking neural networks (SNNs) with single-spike-based temporal coding. The algorithm employs a linear approximation to compute the derivative of the spike latency with respect to the membrane potential and it uses spiking neurons with piecewise linear postsynaptic potential to reduce the computational cost and the complexity of neural processing. In this paper, we extend the STiDi-BP algorithm to employ it in deeper and convolutional architectures. The evaluation results on the image classification task based on two popular benchmarks, MNIST and Fashion-MNIST datasets with the accuracies of respectively 99.2% and 92.8%, confirm that this algorithm has been applicable in deep SNNs. Another issue we consider is the reduction of memory storage and computational cost. To do so, we consider a convolutional SNN (CSNN) with two sets of weights: real-valued weights that are updated in the backward pass and their signs, binary weights, that are employed in the feedforward process. We evaluate the binary CSNN on two datasets of MNIST and Fashion-MNIST and obtain acceptable performance with a negligible accuracy drop with respect to real-valued weights (about $0.6%$ and $0.8%$ drops, respectively).

研究动机与目标

• 将原本用于全连接SNN的STiDi-BP算法扩展至采用单脉冲时间编码的更深、更复杂的卷积架构。
• 通过利用脉冲发放时间位移实现局部误差计算，避免反向传播中的递归梯度计算。
• 通过在推理阶段使用符号化权重、学习阶段使用实数值权重的二值化权重CSNN变体，降低SNN的内存与计算成本。
• 实现基于时间编码的深度CSNN端到端直接训练，避免从预训练ANN转换的步骤。
• 证明二值化权重CSNN可在极小准确率损失下实现接近最优性能，适用于能效高效的类脑硬件。

提出的方法

• 通过突触前脉冲发放时间位移计算期望放电时间，将STiDi-BP算法适配至卷积层，实现无需递归反向传播的局部误差计算。
• 采用膜电位对脉冲延迟导数的线性近似，高效计算梯度。
• 采用分段线性突触后电位与基于ReLU的PSP模型，简化神经动力学并降低计算复杂度。
• 提出一种二值化权重CSNN（BCSNN），前向传播使用二值权重（实数值权重的符号），反向传播则通过梯度下降更新实数值权重。
• 每层或每卷积核仅使用一个全精度缩放因子，相比32位浮点权重将内存占用降低32倍。
• 采用基于感受野内首次脉冲时间的池化策略，天然适配时间编码，降低计算负载。

Figure 1 : The piecewise linear postsynaptic potential caused by the presynaptic spike time $t_{j}$ .

实验结果

研究问题

• RQ1 STiDi-BP算法能否有效扩展至使用单脉冲时间编码的深度卷积脉冲神经网络训练？
• RQ2 通过脉冲发放时间位移避免递归反向传播，是否相比标准BP显著降低深度SNN的计算与内存开销？
• RQ3 使用STiDi-BP训练的二值化权重CSNN能否在极小性能损失下实现高准确率，同时支持高效硬件部署？
• RQ4 所提出的CSNN在MNIST和Fashion-MNIST等标准基准上的性能与现有最先进SNN相比如何？
• RQ5 采用时间编码的单脉冲编码与首次脉冲池化，能在多大程度上简化神经处理流程并降低计算开销？

主要发现

• 基于STiDi-BP的CSNN在MNIST数据集上达到99.2%的准确率，证明了使用单脉冲编码对深度卷积SNN的有效训练。
• 在更复杂的Fashion-MNIST数据集上，CSNN达到92.8%的准确率，证实其在挑战性图像分类任务中的能力。
• 二值化权重变体（BCSNN）相比实数值CSNN仅在MNIST上损失0.6%准确率，在Fashion-MNIST上损失0.8%，性能损失可忽略不计。
• BCSNN将内存使用降低32倍，并用简单的增量/减量操作替代浮点乘法器，显著提升类脑硬件部署效率。
• 该方法避免了递归梯度计算，每层空间复杂度降至O(N)，相比速率编码方案的O(NT)显著降低内存与计算需求。
• 基于首次脉冲的池化天然兼容且计算高效，契合SNN的事件驱动特性，进一步降低处理成本。

Figure 3 : The mean required number of spikes in the input, convolutional, hidden, and total layers in R-CSNN.