[论文解读] Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation

Qingyan Meng, Mingqing Xiao+4 more|arXiv (Cornell University)|May 1, 2022

Advanced Memory and Neural Computing被引用 11

一句话总结

本文提出了一种新型方法——脉冲表示的微分（DSR），通过将脉冲发放率视为可微分的表征，实现高性能、低延迟脉冲神经网络（SNNs）的训练。通过将SNN动力学建模为次可微映射，并训练脉冲阈值与一个新超参数，DSR在CIFAR-10、CIFAR-100、ImageNet和DVS-CIFAR10上均实现了最先进性能，且时间步数极少，克服了性能与延迟之间的权衡。

ABSTRACT

Spiking Neural Network (SNN) is a promising energy-efficient AI model when implemented on neuromorphic hardware. However, it is a challenge to efficiently train SNNs due to their non-differentiability. Most existing methods either suffer from high latency (i.e., long simulation time steps), or cannot achieve as high performance as Artificial Neural Networks (ANNs). In this paper, we propose the Differentiation on Spike Representation (DSR) method, which could achieve high performance that is competitive to ANNs yet with low latency. First, we encode the spike trains into spike representation using (weighted) firing rate coding. Based on the spike representation, we systematically derive that the spiking dynamics with common neural models can be represented as some sub-differentiable mapping. With this viewpoint, our proposed DSR method trains SNNs through gradients of the mapping and avoids the common non-differentiability problem in SNN training. Then we analyze the error when representing the specific mapping with the forward computation of the SNN. To reduce such error, we propose to train the spike threshold in each layer, and to introduce a new hyperparameter for the neural models. With these components, the DSR method can achieve state-of-the-art SNN performance with low latency on both static and neuromorphic datasets, including CIFAR-10, CIFAR-100, ImageNet, and DVS-CIFAR10.

研究动机与目标

• 为解决训练高性能SNNs时低延迟的挑战，因为现有方法要么牺牲准确率，要么需要过多时间步。
• 克服SNN反向传播中脉冲序列不可微的问题，该问题阻碍了基于梯度的训练。
• 实现在不通过时间域反向传播的情况下有效反向传播SNN，降低训练成本。
• 减少因用有限时间步近似SNN动力学而引入的表征误差，提升低延迟下的准确率。
• 在深度网络和类神经形态数据集上验证该方法的有效性，实现最先进性能。

提出的方法

• 该方法将脉冲序列编码为加权发放率表征，将其作为反向传播的主要信息载体。
• 它将常见SNN（如IF、LIF）的前向计算建模为次可微映射，即使在脉冲函数不可微的情况下，也能实现基于梯度的训练。
• 该方法通过在脉冲表征上操作而非在每个时间步处理单个脉冲，避免了时间上的反向传播。
• 它为每层引入可学习的脉冲阈值，以减少有限时间步带来的近似误差。
• 为IF和LIF模型引入一个新超参数，以进一步最小化表征误差并提升训练稳定性。
• 该方法端到端地应用于标准反向传播，以脉冲表征为基础，实现深度SNN的高效训练。

实验结果

研究问题

• RQ1 能否通过避免直接在时间上反向传播，实现高性能且低延迟的SNN训练？
• RQ2 能否将脉冲发放率用作可微分表征，以实现SNN的有效基于梯度的训练？
• RQ3 在低延迟SNN训练中，如何最小化有限时间步引入的近似误差？
• RQ4 训练脉冲阈值并引入新超参数是否能显著提升低延迟SNN的性能？
• RQ5 DSR方法能否扩展到深度网络架构和类神经形态数据集（如DVS-CIFAR10）？

主要发现

• DSR在CIFAR-10上使用20个时间步实现了最先进SNN性能，准确率达到95.24%，采用PreAct-ResNet-18架构。
• 在CIFAR-100上，DSR在20个时间步下达到86.58%的准确率，优于现有低延迟方法。
• 在ImageNet上，DSR仅用10个时间步即达到75.1%的top-1准确率，展现出在大规模数据集上的强大性能。
• 在DVS-CIFAR10上，DSR在20个时间步下达到92.1%的准确率，表明其在类神经形态数据上具有强大泛化能力。
• 消融研究证实，训练阈值并引入新超参数可显著降低表征误差，相比基线设置，准确率最高提升4.79%。
• 该方法在深度网络上具有良好的可扩展性，ResNet架构在110层时性能进一步提升，表明其在更深模型中具有巨大潜力。