[论文解读] Recognizing Images with at most one Spike per Neuron

Christoph Stöckl, Wolfgang Maass|arXiv (Cornell University)|Dec 30, 2019

Advanced Memory and Neural Computing被引用 3

一句话总结

该论文提出AMOS（至多一个尖峰）转换，一种新颖的将人工神经网络（ANNs）转换为脉冲神经网络（SNNs）的方法，通过使用基于延迟的二进制编码，将每个神经元的模拟激活值编码为单个尖峰。该方法在ImageNet上实现了80.97%的top-1准确率和95.82%的top-5准确率，显著提升了SNN的性能、延迟和吞吐量，同时实现了对非ReLU门限函数（如Swish）的转换，而这类函数是基于发放率的方法无法处理的。

ABSTRACT

In order to port the performance of trained artificial neural networks (ANNs) to spiking neural networks (SNNs), which can be implemented in neuromorphic hardware with a drastically reduced energy consumption, an efficient ANN to SNN conversion is needed. Previous conversion schemes focused on the representation of the analog output of a rectified linear (ReLU) gate in the ANN by the firing rate of a spiking neuron. But this is not possible for other commonly used ANN gates, and it reduces the throughput even for ReLU gates. We introduce a new conversion method where a gate in the ANN, which can basically be of any type, is emulated by a small circuit of spiking neurons, with At Most One Spike (AMOS) per neuron. We show that this AMOS conversion improves the accuracy of SNNs for ImageNet from 74.60% to 80.97%, thereby bringing it within reach of the best available ANN accuracy (85.0%). The Top5 accuracy of SNNs is raised to 95.82%, getting even closer to the best Top5 performance of 97.2% for ANNs. In addition, AMOS conversion improves latency and throughput of spike-based image classification by several orders of magnitude. Hence these results suggest that SNNs provide a viable direction for developing highly energy efficient hardware for AI that combines high performance with versatility of applications.

研究动机与目标

• 解决人工神经网络（ANNs）与脉冲神经网络（SNNs）在图像分类任务中的性能差距。
• 克服基于发放率的ANN到SNN转换方法的局限性，特别是针对非ReLU激活函数（如Swish）的处理能力。
• 通过用单尖峰编码替代模拟输出，实现高效、低延迟、高吞吐量的SNN推理。
• 证明SNN可通过一种适用于任意激活函数的通用转换方法，实现与ANN相媲美性能。

提出的方法

• AMOS单元将每个ANN门替换为一个由脉冲神经元构成的小型电路，该电路使用每个神经元至多一个尖峰的方式对模拟值进行编码。
• 采用固定延迟和权重系数，实现输入值的二进制编码表示，从而实现精确且抗噪声的编码。
• 该方法基于阈值电路（McCulloch-Pitts神经元），无需时间积分，因此可实现高速流水线处理。
• 对于ReLU函数，AMOS单元简化为二进制编码的模数转换器，从而简化了实现。
• 该架构支持流水线处理，实现每时间步处理一张图像，达到理论最大吞吐量。
• 对于非ReLU门如Swish，AMOS单元参数通过端到端训练，以近似目标激活函数。

实验结果

研究问题

• RQ1 能否开发一种适用于任意激活函数（包括非ReLU类型如Swish）的通用ANN到SNN转换方法？
• RQ2 SNN能否在每个神经元仅使用单尖峰编码的情况下，实现ImageNet上的高准确率，而无需依赖发放率编码？
• RQ3 与基于发放率的SNN转换相比，AMOS转换是否能显著提升延迟和吞吐量？
• RQ4 AMOS方法能否应用于使用先进激活函数的现代复杂ANN（如EfficientNet）？
• RQ5 在AMOS转换的SNN中，网络深度（延迟）与规模（神经元数量）之间是否存在权衡？

主要发现

• AMOS转换在ImageNet 2012上实现了80.97%的top-1准确率，相比先前方法的74.60%有显著提升。
• top-5准确率达到95.82%，接近最佳ANN性能（97.2%）。
• 该方法成功实现了使用Swish激活函数的EfficientNet模型的转换，而基于发放率的方法无法处理此类网络。
• 吞吐量提升至每时间步处理一张图像，达到理论最大值，延迟降低数个数量级。
• ReLU函数的AMOS单元简化为二进制编码的模数转换器，支持高效的硬件映射。
• 该方法支持流水线推理，每个脉冲神经元在有限且可预测的时间步内被占用，支持资源复用和高效调度。