[论文解读] SpikeGrad: An ANN-equivalent Computation Model for Implementing Backpropagation with Spikes

Johannes Thiele, Olivier Bichler+1 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Memory and Neural Computing被引用 16

一句话总结

SpikeGrad 提出了一种完全基于脉冲的反向传播算法，通过使用等效人工神经网络（ANN）将梯度离散化为脉冲事件，实现高效训练。通过将脉冲动力学映射到等效的ANN，该方法在MNIST（99.52%）和CIFAR10（89.99%）上实现了高精度训练，采用稀疏、低精度的脉冲基误差传播，展示了与全精度反向传播相当的性能表现。

ABSTRACT

Event-based neuromorphic systems promise to reduce the energy consumption of deep learning tasks by replacing expensive floating point operations on dense matrices by low power sparse and asynchronous operations on spike events. While these systems can be trained increasingly well using approximations of the back-propagation algorithm, these implementations usually require high precision errors for training and are therefore incompatible with the typical communication infrastructure of neuromorphic circuits. In this work, we analyze how the gradient can be discretized into spike events when training a spiking neural network. To accelerate our simulation, we show that using a special implementation of the integrate-and-fire neuron allows us to describe the accumulated activations and errors of the spiking neural network in terms of an equivalent artificial neural network, allowing us to largely speed up training compared to an explicit simulation of all spike events. This way we are able to demonstrate that even for deep networks, the gradients can be discretized sufficiently well with spikes if the gradient is properly rescaled. This form of spike-based backpropagation enables us to achieve equivalent or better accuracies on the MNIST and CIFAR10 dataset than comparable state-of-the-art spiking neural networks trained with full precision gradients. The algorithm, which we call SpikeGrad, is based on accumulation and comparison operations and can naturally exploit sparsity in the gradient computation, which makes it an interesting choice for a spiking neuromorphic systems with on-chip learning capacities.

研究动机与目标

• 通过将基于脉冲的反向传播与基于脉冲的推理完全集成，实现在神经形态硬件上的片上学习。
• 解决高精度梯度与神经形态系统稀疏、低功耗通信基础设施之间的不兼容性问题。
• 证明梯度可被有效离散化为脉冲事件，而不会牺牲分类准确率。
• 利用反向传播梯度中的稀疏性，实现大规模脉冲神经网络的能效训练。
• 提供一个数学上严谨且可扩展的基于脉冲的误差传播框架，其行为与标准反向传播一致。

提出的方法

• 引入一种双 compartment 感知-放电神经元模型，其中设置独立的误差累积 compartment 用于梯度离散化。
• 通过带符号的脉冲事件实现基于脉冲的误差传播，以表示反向传播的梯度，从而支持稀疏、异步计算。
• 采用等效ANN模型，通过将脉冲累积映射为等效实值激活，实现在GPU上对大规模SNN训练的高效模拟。
• 通过因子α对误差进行重标度，以控制基于脉冲的梯度动态范围，提升训练稳定性。
• 采用直接脉冲梯度方法，将误差信号编码为脉冲计数，并通过固定突触权重反向传播。
• 通过将所有操作表示为脉冲累积和比较，利用前向和反向传播中的稀疏性，最大限度减少MAC操作。

实验结果

研究问题

• RQ1 在保持高分类准确率的前提下，反向传播梯度能否被有效离散化为脉冲事件？
• RQ2 SNN中反向传播梯度的稀疏性与ANN相比如何？是否可被用于提升能效？
• RQ3 基于脉冲的反向传播算法能否在深度SNN中实现与全精度梯度方法相当的性能？
• RQ4 在多大程度上可以使用等效人工神经网络准确建模脉冲神经网络的动力学，以实现训练加速？
• RQ5 误差重标度（α）对基于脉冲的反向传播收敛性和准确率有何影响？

主要发现

• SpikeGrad在MNIST上实现了99.52%的测试准确率，与使用全精度梯度训练的最先进SNN相当或更优。
• 在CIFAR10上，SpikeGrad采用基于脉冲的梯度达到89.99%的准确率，优于现有SNN方法，并接近全精度基准。
• 随着推理精度的提高，反向传播中的突触操作数（ACCs）减少，表明梯度稀疏性不断增强。
• 梯度稀疏性随网络深度增加，深层网络所需操作更少，尤其在训练后期阶段更为显著。
• 等效ANN模型实现了大规模SNN在GPU上的高效模拟，显著缩短训练时间，同时保持了基于脉冲计算的保真度。
• 该方法证明了基于脉冲的误差传播在可行性与可扩展性方面均成立，使神经形态系统中实现全事件驱动学习成为可能。