[论文解读] Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks

Jibin Wu, Chenglin Xu+3 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Memory and Neural Computing参考文献 56被引用 14

一句话总结

本文提出了一种新型的ANN-to-SNN转换与逐层微调框架——渐进式串联学习（PTL），该方法利用脉冲计数来近似模拟神经元激活，并通过自适应的、逐层的训练来补偿转换误差。该方法使深度SNN在ImageNet-12、图像重建和语音分离任务上实现了具有竞争力的性能，相较于最先进SNN，推理速度最高提升10倍，且突触操作次数显著减少。

ABSTRACT

Spiking neural networks (SNNs) have shown clear advantages over traditional artificial neural networks (ANNs) for low latency and high computational efficiency, due to their event-driven nature and sparse communication. However, the training of deep SNNs is not straightforward. In this paper, we propose a novel ANN-to-SNN conversion and layer-wise learning framework for rapid and efficient pattern recognition, which is referred to as progressive tandem learning of deep SNNs. By studying the equivalence between ANNs and SNNs in the discrete representation space, a primitive network conversion method is introduced that takes full advantage of spike count to approximate the activation value of analog neurons. To compensate for the approximation errors arising from the primitive network conversion, we further introduce a layer-wise learning method with an adaptive training scheduler to fine-tune the network weights. The progressive tandem learning framework also allows hardware constraints, such as limited weight precision and fan-in connections, to be progressively imposed during training. The SNNs thus trained have demonstrated remarkable classification and regression capabilities on large-scale object recognition, image reconstruction, and speech separation tasks, while requiring at least an order of magnitude reduced inference time and synaptic operations than other state-of-the-art SNN implementations. It, therefore, opens up a myriad of opportunities for pervasive mobile and embedded devices with a limited power budget.

研究动机与目标

• 为解决在真实世界模式识别任务中高效训练深度脉冲神经网络（SNN）的挑战。
• 克服脉冲神经元的不可微性以及SNN中反向传播效率低下的问题。
• 通过在学习过程中逐步施加如权重精度受限和输入连接数受限等硬件约束，实现硬件感知的训练。
• 在大幅降低推理延迟和突触操作次数的同时，实现高精度的模式识别性能。
• 弥合ANN与SNN在大规模任务（如图像识别和语音分离）中的性能差距。

提出的方法

• 提出一种基础的ANN-to-SNN转换方法，将模拟神经元激活映射为脉冲计数，从而支持高效的事件驱动推理。
• 引入一种逐层学习策略，并结合自适应学习率调度器，对网络权重进行微调，以纠正初始转换带来的近似误差。
• 采用替代梯度方法，使SNN中能够实现时间反向传播，从而在脉冲函数不可微的情况下仍支持端到端训练。
• 在训练过程中逐步施加硬件约束（如有限权重精度和输入连接数限制），以实现算法与类脑硬件的协同设计。
• 采用串联学习框架，使SNN与ANN共享权重，其中SNN提供精确的脉冲基表示，而ANN用于近似替代梯度。
• 利用速率编码原理，在固定时间窗口内通过脉冲计数表示连续激活，以优化推理速度与能效。

实验结果

研究问题

• RQ1 脉冲计数能否有效用于表示ANN-to-SNN转换过程中模拟神经元的激活，同时保持分类精度？
• RQ2 在不依赖完整反向传播的情况下，如何有效最小化原始SNN转换带来的近似误差？
• RQ3 采用自适应调度器的逐层训练是否能在保持低计算成本的同时，使深度SNN实现具有竞争力的性能？
• RQ4 在多大程度上可将有限权重精度和输入连接数等硬件约束整合进训练过程，以实现高效的类脑硬件部署？
• RQ5 使用该框架训练的SNN能否在大规模图像识别和语音分离等复杂任务中达到与ANN相当的性能？

主要发现

• 所提出的PTL框架使深度SNN在开放集语音分离任务中实现了12.8 dB SI-SDR和2.85 PESQ的性能，与ANN基线（12.8 dB SI-SDR和2.94 PESQ）非常接近。
• 在ImageNet-12图像识别任务中，采用PTL训练的SNN实现了与对应ANN相当的分类性能。
• 与最先进SNN实现相比，PTL训练的SNN所需突触操作次数至少减少一个数量级，且推理时间显著缩短。
• 该框架通过在训练过程中逐步嵌入如有限权重精度等硬件约束，实现了有效的软硬件协同设计，确保在真实类脑硬件上实现最优性能。
• 该方法在图像重建任务中表现出鲁棒性能，SNN即使在具有挑战性的同性别语音分离条件下，也能生成与真实值高度一致的高质量重建结果。
• 听觉测试表明，SNN输出的分离语音在感知上与原始ANN输出无差别，能够高保真地还原语音信号。