[论文解读] Spike Calibration: Fast and Accurate Conversion of Spiking Neural Network for Object Detection and Segmentation

Yang Li, Xiang He+3 more|arXiv (Cornell University)|Jul 6, 2022

Advanced Memory and Neural Computing被引用 15

一句话总结

本文提出Spike Calibration（SpiCalib），一种新颖方法，可实现人工神经网络（ANN）到脉冲神经网络（SNN）的快速、精确且能效高效的转换，适用于目标检测和语义分割等复杂任务。通过理论分析转换误差——特别是从ANN中处于非激活状态但在SNN中放电的脉冲神经元（SIN误差）——SpiCalib利用脉冲间隔监测纠正虚假脉冲，并修改LIPooling以实现无损最大池化转换，从而在128个时间步内使SNN性能达到与ANN相当，同时能耗降低至0.492倍。

ABSTRACT

Spiking neural network (SNN) has been attached to great importance due to the properties of high biological plausibility and low energy consumption on neuromorphic hardware. As an efficient method to obtain deep SNN, the conversion method has exhibited high performance on various large-scale datasets. However, it typically suffers from severe performance degradation and high time delays. In particular, most of the previous work focuses on simple classification tasks while ignoring the precise approximation to ANN output. In this paper, we first theoretically analyze the conversion errors and derive the harmful effects of time-varying extremes on synaptic currents. We propose the Spike Calibration (SpiCalib) to eliminate the damage of discrete spikes to the output distribution and modify the LIPooling to allow conversion of the arbitrary MaxPooling layer losslessly. Moreover, Bayesian optimization for optimal normalization parameters is proposed to avoid empirical settings. The experimental results demonstrate the state-of-the-art performance on classification, object detection, and segmentation tasks. To the best of our knowledge, this is the first time to obtain SNN comparable to ANN on these tasks simultaneously. Moreover, we only need 1/50 inference time of the previous work on the detection task and can achieve the same performance under 0.492$ imes$ energy consumption of ANN on the segmentation task.

研究动机与目标

• 为解决现有SNN转换方法在复杂任务（如目标检测与分割）中性能严重下降及高时间延迟的问题。
• 识别并纠正由离散脉冲及突触电流极端值随时间变化所引起的转换误差，这些误差会扭曲输出分布。
• 通过修改LIPooling实现SNN中任意最大池化层的无损转换，以保持激活模式。
• 利用贝叶斯优化自动调节归一化参数 $ p $，避免依赖经验性设置。
• 在保持低能耗和快速推理的前提下，实现SNN在复杂视觉任务上与ANN相当的性能。

提出的方法

• 将转换误差从理论上划分为三类：截断误差、非激活神经元脉冲（SIN）误差和最大池化误差，其中SIN误差最具破坏性，因其源于随时间变化的突触电流极端值。
• 提出Spike Calibration（SpiCalib）通过监测神经元的平均脉冲间隔（ISI）来检测并纠正SIN误差，识别由瞬时电流峰值引发的虚假脉冲。
• 修改LIPooling以支持SNN中任意最大池化层的无损转换，通过在时间步长内保持最大激活值来实现。
• 引入贝叶斯优化自动调节 $ p $-范数归一化中的归一化参数 $ p $，消除对经验性设置的依赖。
• 将SpiCalib集成至现有转换框架（如Burst Spikes）中，并应用于基于ResNet和FCN主干网络的分类、检测与分割任务。

实验结果

研究问题

• RQ1 在ANN转SNN转换中，导致性能下降的主要原因是什么，尤其是在超越简单分类的复杂视觉任务中？
• RQ2 随时间变化的突触电流极端值如何导致非激活神经元中出现错误放电（SIN误差）？是否可在不改变网络结构的前提下纠正此问题？
• RQ3 最大池化层能否在无性能损失的情况下转换为SNN？若可，对LIPooling进行何种修改可实现此目标？
• RQ4 自动超参数优化（如 $ p $-范数归一化）是否能提升转换准确率与跨任务的泛化能力？
• RQ5 SNN是否能在短仿真时间与低能耗预算下，实现与ANN在目标检测与语义分割任务上相当的性能？

主要发现

• SpiCalib在分类、目标检测与语义分割任务中均达到最先进性能，SNN在128个时间步内于PASCAL VOC数据集上达到与ANN相当的性能。
• 在目标检测任务中，该方法将推理时间缩短至先前工作的1/50，同时保持与ANN基线相同的平均精度均值（mAP）。
• 在VOC数据集上使用FCN进行语义分割时，SpiCalib在T=128时达到81.49%的频率加权IoU，与ANN的81.49%完全一致，且比基线SNN高出最多2.3个百分点。
• 该方法将分割任务中的能耗降低至等效ANN的0.492倍，展现出优异的能效表现。
• 归一化参数的贝叶斯优化提升了泛化能力，MLIPooling与SpiCalib结合在T=256时达到81.49%的f.w. IoU，与ANN完全一致。
• 稀疏性分析显示脉冲频率在0.0062至0.0319之间，证实了在神经形态硬件上具有高度稀疏性与能效优势。