[论文解读] RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network

Bing Han, Gopalakrishnan Srinivasan+1 more|arXiv (Cornell University)|Feb 25, 2020

Advanced Memory and Neural Computing参考文献 46被引用 34

一句话总结

论文提出残留膜电位（RMP）尖峰神经元用于 ANN-SNN 转换，实现几乎无损的转换，并在 CIFAR-10/100 与 ImageNet 上相较硬重置尖峰神经元具有更低的延迟，适用于 VGG-16、ResNet-20/34。

ABSTRACT

Spiking Neural Networks (SNNs) have recently attracted significant research interest as the third generation of artificial neural networks that can enable low-power event-driven data analytics. The best performing SNNs for image recognition tasks are obtained by converting a trained Analog Neural Network (ANN), consisting of Rectified Linear Units (ReLU), to SNN composed of integrate-and-fire neurons with "proper" firing thresholds. The converted SNNs typically incur loss in accuracy compared to that provided by the original ANN and require sizable number of inference time-steps to achieve the best accuracy. We find that performance degradation in the converted SNN stems from using "hard reset" spiking neuron that is driven to fixed reset potential once its membrane potential exceeds the firing threshold, leading to information loss during SNN inference. We propose ANN-SNN conversion using "soft reset" spiking neuron model, referred to as Residual Membrane Potential (RMP) spiking neuron, which retains the "residual" membrane potential above threshold at the firing instants. We demonstrate near loss-less ANN-SNN conversion using RMP neurons for VGG-16, ResNet-20, and ResNet-34 SNNs on challenging datasets including CIFAR-10 (93.63% top-1), CIFAR-100 (70.93% top-1), and ImageNet (73.09% top-1 accuracy). Our results also show that RMP-SNN surpasses the best inference accuracy provided by the converted SNN with "hard reset" spiking neurons using 2-8 times fewer inference time-steps across network architectures and datasets.

研究动机与目标

• 解决由硬重置尖峰神经元引起的 ANN-SNN 转换中的信息损失。
• 提出一种软重置的残留膜电位（RMP）神经元，在发放后保留残留膜电位。
• 开发阈值初始化和训练约束，以实现深层 SNN 的近乎无损转换。
• 展示在 CIFAR-10、CIFAR-100 和 ImageNet 上的 VGG-16、ResNet-20/34 的高精度、低延迟 SNN。

提出的方法

• 引入残留膜电位（RMP）尖峰神经元，在尖峰时刻通过减去阈值 V_th 实现软重置（V_m <- V_m - V_th）。
• 证明 RMP 在广泛的 η 范围内呈现线性输入输出行为 f_out ≈ η f_in，从而实现准确的 ANN-SNN 映射。
• 推导阈值界 V_in 和 V_th，保持 f_out 在理想区间 [f_in, 1) 内，防止过度尖峰（方程6和方程7）。
• 提出以 V_in^max 为基础的 V_th 上限进行阈值平衡，并缩放阈值（α），以实现最佳的精度-延迟权衡。
• 对深度网络应用受限的 ANN 训练（去除 Batch Normalization 和偏置）以及逐层阈值初始化。

实验结果

研究问题

• RQ1 软重置（RMP）神经元在 ANN-SNN 转换中相较于硬重置 IF 神经元对信息保留有何影响？
• RQ2 阈值初始化和受限的 ANN 训练是否能实现深层网络（VGG-16、ResNet-20/34）在 CIFAR-10/100 和 ImageNet 上的近乎无损转换？
• RQ3 相对于传统 SNN，RMP 对推理延迟和尖峰活动的影响是多少？
• RQ4 哪些阈值和工作模式在 RMP-SNN 中在最大化准确性同时最小化延迟？

主要发现

• RMP 神经元保留残留膜电位，使近乎无损的 ANN-SNN 转换成为可能，在所测试的网络和数据集上，Top-1 准确率接近或等于 ANN 基线。
• RMP-SNNs 在 CIFAR-10、 CIFAR-100 和 ImageNet 上达到可比或更好准确率所需的推理时间步数比硬重置 SNN 少 2–8×。
• 使用 V_in^max 的逐层阈值初始化和受限的 ANN 训练，带来显著低于以往基于硬重置的转换的转换损失（示例：CIFAR-10、CIFAR-100、ImageNet）。
• VGG-16 RMP-SNN 在 CIFAR-10 上取得 93.63% 的 Top-1，达到 ANN 水平，所需时间步为 2048；而降阈值变体在 64–512 个时间步即可达到高精度。
• ResNet-20/34 相较基线硬重置 SNN 展示显著准确度提升，降阈值变体实现高达 8× 的推理加速，同时尖峰活动保持在约 1–2%。
• 在各数据集上，RMP-SNN 展示了所比较方法中最高的报告准确率和最低的 ANN-SNN 转换损失。