[论文解读] Robust and accelerated single-spike spiking neural network training with applicability to challenging temporal tasks

Luke Taylor, Andrew P. King+1 more|arXiv (Cornell University)|May 30, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出了一种快速、鲁棒且可微分的单脉冲脉冲神经网络（SNNs）训练方法，通过将串行的时间依赖操作替换为可并行化的GPU加速卷积操作，实现了高达13.98倍的训练速度提升，并将脉冲数量减少81%，同时在具有挑战性的时序类神经形态数据集上达到与多脉冲SNN相当的性能，其关键在于可训练的膜时间常数。

ABSTRACT

Spiking neural networks (SNNs), particularly the single-spike variant in which neurons spike at most once, are considerably more energy efficient than standard artificial neural networks (ANNs). However, single-spike SSNs are difficult to train due to their dynamic and non-differentiable nature, where current solutions are either slow or suffer from training instabilities. These networks have also been critiqued for their limited computational applicability such as being unsuitable for time-series datasets. We propose a new model for training single-spike SNNs which mitigates the aforementioned training issues and obtains competitive results across various image and neuromorphic datasets, with up to a $13.98 imes$ training speedup and up to an $81\%$ reduction in spikes compared to the multi-spike SNN. Notably, our model performs on par with multi-spike SNNs in challenging tasks involving neuromorphic time-series datasets, demonstrating a broader computational role for single-spike SNNs than previously believed.

研究动机与目标

• 解决单脉冲脉冲神经网络（SNNs）训练缓慢且不稳定的严峻挑战，此类网络本就具有极高的能效优势。
• 克服神经元死亡问题，并消除对精细正则化策略的依赖，以提升单脉冲SNN训练的稳定性。
• 使单脉冲SNN在复杂时序任务（如神经形态时间序列数据集）上具备竞争力，这些任务此前被认为不适合此类网络。
• 开发一种可泛化的可微分训练框架，支持除突触权重外的多种架构与可训练参数。

提出的方法

• 将串行的时间依赖操作替换为可并行化的卷积操作，通过消除时间依赖关系实现训练加速。
• 采用可传播至膜电位而非脉冲时间的代理梯度，从而在非可微分SNN中实现稳定反向传播。
• 引入可训练的膜时间常数，使神经元能够以多时间尺度整合输入，增强时序处理能力。
• 设计一个完全可微分的训练流程，支持前馈、分层及卷积神经网络架构。
• 应用批量处理与GPU优化操作，最大化计算效率的同时保持训练稳定性。
• 通过避免依赖脉冲基梯度信号，确保对初始零活动状态的鲁棒性。

实验结果

研究问题

• RQ1 单脉冲SNN能否在无串行时间依赖的情况下实现高效且稳定的训练？
• RQ2 单脉冲SNN能否在如SHD等复杂时序数据集上实现与多脉冲SNN相当的性能？
• RQ3 引入可训练的膜时间常数是否能使单脉冲SNN有效处理动态、时变输入？
• RQ4 能否通过GPU并行化操作显著加速训练过程而不损失精度？
• RQ5 所提出方法是否对神经元死亡问题具有鲁棒性，并对超参数调优不敏感？

主要发现

• 通过将串行操作替换为可并行化的卷积操作，该方法在合成基准上实现最高16.77倍的训练速度提升，在真实数据集上实现最高13.98倍的速度提升。
• 与多脉冲SNN相比，该模型在所有测试的图像与神经形态数据集上均将脉冲数量减少高达81%，同时保持了具有竞争力的准确率。
• 网络对神经元死亡问题具有鲁棒性，且无需精细正则化，这与以往的单脉冲训练方法形成鲜明对比。
• 引入可训练的膜时间常数使单脉冲SNN在如SHD神经形态数据集等具有挑战性的时序数据集上达到与多脉冲SNN相当的性能。
• 该方法在多种架构上具有泛化能力，包括深度网络、前馈网络、分层网络与卷积网络，展现出广泛的适用性。
• 实验结果证实，即使初始活动为零，网络仍能有效学习，验证了该方法的稳定性和鲁棒性。