[论文解读] Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization

Ziming Wang, Shuang Lian+4 more|arXiv (Cornell University)|May 16, 2022

Advanced Memory and Neural Computing参考文献 64被引用 11

一句话总结

该论文提出了一种双阶段优化方法，用于在超低延迟下实现无损ANN-SNN转换，通过显式处理量化、截断和残留膜电位表示误差。通过引入可训练的QC-ANN和基于BPTT的校准，该方法在最多15.7倍能效提升下实现了最先进精度，在仅2个时间步内于CIFAR-100上达到73.20%的top-1准确率。

ABSTRACT

Spiking neural networks (SNNs) operating with asynchronous discrete events show higher energy efficiency with sparse computation. A popular approach for implementing deep SNNs is ANN-SNN conversion combining both efficient training of ANNs and efficient inference of SNNs. However, the accuracy loss is usually non-negligible, especially under a few time steps, which restricts the applications of SNN on latency-sensitive edge devices greatly. In this paper, we first identify that such performance degradation stems from the misrepresentation of the negative or overflow residual membrane potential in SNNs. Inspired by this, we decompose the conversion error into three parts: quantization error, clipping error, and residual membrane potential representation error. With such insights, we propose a two-stage conversion algorithm to minimize those errors respectively. Besides, We show each stage achieves significant performance gains in a complementary manner. By evaluating on challenging datasets including CIFAR-10, CIFAR- 100 and ImageNet, the proposed method demonstrates the state-of-the-art performance in terms of accuracy, latency and energy preservation. Furthermore, our method is evaluated using a more challenging object detection task, revealing notable gains in regression performance under ultra-low latency when compared to existing spike-based detection algorithms. Codes are available at https://github.com/Windere/snn-cvt-dual-phase.

研究动机与目标

• 解决在超低延迟下ANN-SNN转换精度的关键缺口，特别是由于残留膜电位表征不当所致。
• 识别并分解转换误差为三个独立分量：量化误差、截断误差和残留电位表征误差。
• 开发一种双阶段优化框架，系统性地最小化每类误差，实现在最小推理延迟下的无损转换。
• 在极端时间步约束下，于CIFAR-100、CIFAR-10和ImageNet数据集上实现最先进精度-延迟-能效权衡。

提出的方法

• 引入QC-ANN（量化-截断人工神经网络）作为中间模型，显式分离并优化量化与截断误差。
• 在第一阶段应用可训练阈值和量化噪声，以微调ANN以提升SNN转换保真度。
• 使用时间反向传播（BPTT）对权重和初始膜电位进行逐层校准，以最小化残留电位表征误差。
• 将转换误差分解为三个分量：量化误差（来自激活量化）、截断误差（来自脉冲率截断）和残留电位表征误差（来自非零膜电位的表征不当）。
• 以互补的双阶段方式优化三类误差：第一阶段聚焦于量化与截断；第二阶段聚焦于残留电位。
• 以脉冲率作为主要转换准则，最小化各层ANN激活与SNN脉冲率之间的L2距离。

实验结果

研究问题

• RQ1 在超低延迟下，ANN-SNN转换中精度下降的主要原因是什么？
• RQ2 残留膜电位表征不当、量化误差和截断误差在SNN转换误差中分别起到何种作用？
• RQ3 一种分别最小化这三类误差的双阶段优化策略，能否实现在最少时间步下的无损转换？
• RQ4 与现有最先进转换方法相比，该方法在精度-延迟-能效权衡方面能提升多少？
• RQ5 基于BPTT的校准在捕捉时间动态和降低低延迟SNN中残留电位表征误差方面有多高效？

主要发现

• 该方法在仅2个时间步内于CIFAR-100上实现73.20%的top-1准确率，相比原始ANN实现15.7倍能效降低。
• 在ImageNet上使用VGG-16，该方法在16个时间步内实现70.13%的top-1准确率，相比先前工作在相同延迟约束下提升19.16%。
• 仅使用32个校准样本，该方法在CIFAR-10上将ResNet-18的准确率在4个时间步内提升25.42%，展现出极高的样本效率。
• 在T=8时，该方法在CIFAR-100上实现近乎无损转换，仅损失0.38%准确率，且能耗仅为原始ANN的16.11%。
• 即使在4个时间步下，该方法仍保持强劲性能，其精度和延迟表现优于CIFAR-10上的最先进直接训练方法。
• 能效显著提升：在CIFAR-100上T=2时，SNN仅消耗140.5 μJ（相当于ANN的6.36%），准确率达73.20%，展现出优异的能效保持能力。