[论文解读] Recent Advances and New Frontiers in Spiking Neural Networks

Duzhen Zhang, Shuncheng Jia+1 more|arXiv (Cornell University)|Mar 12, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

本综述回顾了脉冲神经网络（SNNs）的最新进展与新兴前沿，聚焦五个核心领域：神经元模型、编码方法、拓扑结构、类脑数据集、优化算法、软件框架及硬件平台。强调了SNNs通过事件驱动计算与类脑硬件集成，在实现能效高效的类脑人工智能方面的潜力。

ABSTRACT

In recent years, spiking neural networks (SNNs) have received extensive attention in brain-inspired intelligence due to their rich spatially-temporal dynamics, various encoding methods, and event-driven characteristics that naturally fit the neuromorphic hardware. With the development of SNNs, brain-inspired intelligence, an emerging research field inspired by brain science achievements and aiming at artificial general intelligence, is becoming hot. This paper reviews recent advances and discusses new frontiers in SNNs from five major research topics, including essential elements (i.e., spiking neuron models, encoding methods, and topology structures), neuromorphic datasets, optimization algorithms, software, and hardware frameworks. We hope our survey can help researchers understand SNNs better and inspire new works to advance this field.

研究动机与目标

• 为脉冲神经网络（SNNs）在五个关键研究领域中的最新进展提供全面综述。
• 识别并分析SNN研究中的新兴挑战与前沿问题，特别是在实现生物合理性与计算效率之间的平衡方面。
• 支持研究人员理解SNNs的当前发展状态，并激发迈向通用人工智能的新研究。
• 考察类脑硬件与软件框架在加速SNN部署与训练中的作用。
• 比较与对比离线与在线类脑芯片在支持SNN推理与学习方面的性能。

提出的方法

• 系统性地综述五个核心领域（基本要素：神经元模型、编码方式、拓扑结构；类脑数据集；优化算法；软件框架；硬件平台）的近期文献。
• 分析神经元模型，包括Hodgkin-Huxley、LIF与Izhikevich模型，强调其生物真实性与计算效率。
• 回顾编码方法，如率编码、时间编码与基于秩的编码，评估其对SNN中信息表征的影响。
• 考察优化技术，包括脉冲时间依赖可塑性（STDP）与伪反向传播（如Zenke & Ganguli, 2018）等，用于SNN训练。
• 评估软件工具如SpikingJelly与CogSNN在SNN开发与训练中的应用。
• 综述类脑硬件平台，包括IBM TrueNorth、Intel Loihi与Tianjic，重点关注其架构、可扩展性及对片上学习的支持。

实验结果

研究问题

• RQ1 在生物真实性与计算效率之间取得平衡的脉冲神经元模型有哪些关键进展？
• RQ2 不同的脉冲编码方法如何影响SNN在事件驱动处理中的性能与鲁棒性？
• RQ3 在使用生物启发式（如STDP）与工程驱动式（如伪-BP）算法优化SNN时，当前存在哪些局限性与机遇？
• RQ4 现代软件框架如何支持SNN的开发与训练？其可扩展性与可用性之间存在何种权衡？
• RQ5 类脑硬件中的架构创新如何实现超低功耗、高并行性的SNN推理与学习？

主要发现

• Hodgkin-Huxley模型提供了神经元动力学的详细生物物理描述，但计算开销较大；而LIF与Izhikevich模型则提供了高效的近似，适用于大规模SNN。
• 类脑数据集如N-MNIST与DVS-CIFAR10对SNN在事件驱动视觉任务中的训练与评估至关重要，支持高速、低功耗处理。
• 伪反向传播方法（如Zenke & Ganguli, 2018提出）实现了SNN中的端到端反向传播，显著提升了基准任务上的准确率。
• 类脑芯片如Intel Loihi（800万个神经元，80亿个突触）与IBM TrueNorth（100万个神经元，2.56亿个突触）在实时SNN推理中展现出超低功耗与高并行性。
• 在线类脑芯片如Loihi与SpiNNaker支持片上学习，实现自适应的事件驱动计算；而离线芯片如TrueNorth与Neurogrid仅支持推理部署。
• 混合架构如Tianjic同时支持DNN与SNN，支持多模态应用，如自动驾驶自行车中的语音识别与障碍物避让。