[论文解读] RMP-Loss: Regularizing Membrane Potential Distribution for Spiking Neural Networks

Yufei Guo, Xiaode Liu+6 more|arXiv (Cornell University)|Aug 13, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出RMP-Loss，一种简单而有效的正则化损失，通过将脉冲神经网络（SNNs）中的膜电位分布重新分配至二值脉冲值（0或1）来减少量化误差。通过在训练过程中直接最小化膜电位与脉冲阈值之间的距离，RMP-Loss在不增加参数或推理开销的情况下提升了SNN的准确率，在CIFAR-10、CIFAR-100、CIFAR10-DVS和ImageNet上均实现了最先进性能，且所需时间步数更少。

ABSTRACT

Spiking Neural Networks (SNNs) as one of the biology-inspired models have received much attention recently. It can significantly reduce energy consumption since they quantize the real-valued membrane potentials to 0/1 spikes to transmit information thus the multiplications of activations and weights can be replaced by additions when implemented on hardware. However, this quantization mechanism will inevitably introduce quantization error, thus causing catastrophic information loss. To address the quantization error problem, we propose a regularizing membrane potential loss (RMP-Loss) to adjust the distribution which is directly related to quantization error to a range close to the spikes. Our method is extremely simple to implement and straightforward to train an SNN. Furthermore, it is shown to consistently outperform previous state-of-the-art methods over different network architectures and datasets.

研究动机与目标

• 直接解决因将实值膜电位映射为二值脉冲（0/1）而引起的SNN量化误差问题，该问题导致信息丢失和性能下降。
• 开发一种训练方法，以最小化此类量化误差，且在推理过程中不引入额外参数或计算开销。
• 通过促使膜电位集中于脉冲阈值或重置值附近，提升SNN在多种架构和数据集上的性能。
• 提供一种理论基础坚实、简单且通用的正则化技术，以增强端到端SNN训练中的训练稳定性和准确率。

提出的方法

• 提出一种新颖的正则化损失RMP-Loss，在反向传播过程中惩罚膜电位与其对应0/1脉冲值之间的L2距离。
• 该损失函数作为正则项添加到标准任务损失中，促使训练过程中膜电位聚集在二值脉冲水平（0或1）附近。
• 该方法直接作用于膜电位分布，无需修改网络架构或激活函数。
• RMP-Loss具有可微性，与标准反向传播兼容，支持使用替代梯度方法进行SNN的端到端训练。
• 正则化按层应用，且不改变SNN的推理机制或脉冲生成规则。
• 该方法与架构无关，可轻松集成到任意SNN训练流程中，仅需极少代码修改。

Figure 1 : The overall workflow of the proposed method. We embed a membrane potential regularization loss in the task loss to redistribute the membrane potential in the training phase to reduce the quantization error.

实验结果

研究问题

• RQ1 直接对膜电位分布向二值脉冲值进行正则化，能否减少SNN中的量化误差？
• RQ2 一种简单、无参数的正则化损失是否能在不增加推理成本的前提下提升SNN的准确率？
• RQ3 在不同数据集和架构下，RMP-Loss与最先进SNN训练方法相比，在准确率和效率方面表现如何？
• RQ4 RMP-Loss能否在性能上超越通过架构修改或增加时间步数来间接减少量化误差的方法？

主要发现

• 在CIFAR-10上，RMP-Loss在ResNet20和4个时间步下达到93.65%的top-1准确率，比之前的最先进方法TET高出4.26%。
• 在CIFAR-100上，RMP-Loss在ResNet20和4个时间步下达到66.65%的top-1准确率，优于Diet-SNN 2.58%和Real Spike 0.05%。
• 在神经形态CIFAR10-DVS数据集上，RMP-Loss在ResNet19和10个时间步下达到76.20%的top-1准确率，优于InfLoR-SNN 0.70%和RecDis-SNN 3.78%。
• 在ImageNet上，RMP-Loss在ResNet34和4个时间步下达到65.17%的top-1准确率，在采用二值脉冲的标准SNN中排名第一，尽管略低于SEW ResNet（因其输出非二值脉冲）。
• 可视化结果证实，RMP-Loss缩小了膜电位分布的范围，减少了与脉冲阈值的距离，从而最小化了量化误差。
• 该方法在多种架构（ResNet19、ResNet20、VGG16）和数据集上均一致提升性能，展现出广泛的适用性和鲁棒性。

Figure 2 : The effect of RMP-Loss. The overall original membrane potential distribution (left) and the redistributed membrane potential distribution by RMP-Loss (right) of the first layer of the second block in ResNet20 on CIFAR-10 test sets.