[论文解读] Parallel Spiking Neurons with High Efficiency and Ability to Learn Long-term Dependencies

Wei Fang, Zhaofei Yu+6 more|arXiv (Cornell University)|Apr 25, 2023

Advanced Memory and Neural Computing被引用 15

一句话总结

引入 Parallel Spiking Neuron (PSN) 家族，取消重置以实现完全并行的尖峰动力学，从而提高仿真速度并改善长期依赖学习；包含用于变长序列的掩蔽和滑动变体，以及逐步处理。

ABSTRACT

Vanilla spiking neurons in Spiking Neural Networks (SNNs) use charge-fire-reset neuronal dynamics, which can only be simulated serially and can hardly learn long-time dependencies. We find that when removing reset, the neuronal dynamics can be reformulated in a non-iterative form and parallelized. By rewriting neuronal dynamics without reset to a general formulation, we propose the Parallel Spiking Neuron (PSN), which generates hidden states that are independent of their predecessors, resulting in parallelizable neuronal dynamics and extremely high simulation speed. The weights of inputs in the PSN are fully connected, which maximizes the utilization of temporal information. To avoid the use of future inputs for step-by-step inference, the weights of the PSN can be masked, resulting in the masked PSN. By sharing weights across time-steps based on the masked PSN, the sliding PSN is proposed to handle sequences of varying lengths. We evaluate the PSN family on simulation speed and temporal/static data classification, and the results show the overwhelming advantage of the PSN family in efficiency and accuracy. To the best of our knowledge, this is the first study about parallelizing spiking neurons and can be a cornerstone for the spiking deep learning research. Our codes are available at \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron}.

研究动机与目标

• 动机是在尖峰神经元动力学中移除重置以实现并行计算。
• 提出一个通用的 PSN 框架，使隐藏状态计算非迭代化。
• 引入掩蔽 PSN 和滑动 PSN，以在并行性、逐步推理和变长序列之间取得平衡。
• 评估 PSN 变体在仿真速度、时序与静态数据分类以及神经形态基准测试中的表现。

提出的方法

• 将尖峰神经元充电在不进行重置的前提下重新表述为输入的线性组合：H[t] = sum_i W_{t,i} X[i]。
• 将 PSN 定义为 H = W X 且 S = Theta(H - B)，从而实现完全并行计算。
• 通过应用时间局部掩码 M_k 将依赖限制在最近的 k 个输入上，引入 k 阶掩蔽 PSN。
• 提出带时间共享权重的 k 阶滑动 PSN，相当于对输入序列的一维卷积。
• 在保持并行前向动力学的同时，提供通过时间的反向传播（BPTT）训练。
• 将 PSN 变体与原生 LIF/GLIF/KLIF/PLIF 神经元在速度和学习长期依赖方面进行比较。

Figure 1: The computational graphs of the vanilla spiking neuron and the parallel spiking neuron. Figure (a) is cited from [ 14 ] . The dotted lines in Figure (b) are weights that can be masked for step-by-step computation. $X[t],S[t]$ are the input current and the output spike, and $H[t],V[t]$ are

实验结果

研究问题

• RQ1 移除重置操作是否可以在不破坏放电行为的前提下实现完全并行的神经元动力学？
• RQ2 PSN 家族在仿真速度相对于传统尖峰神经元的表现如何？
• RQ3 掩蔽 PSN 和滑动 PSN 变体是否在提高序列长度处理和准确性的同时保留逐步推理？
• RQ4 在序列和静态任务中，PSN 变体是否比传统尖峰神经元更擅长学习长期依赖？
• RQ5 高阶并行化对参数效率和内存使用的影响是什么？

主要发现

• 由于基于并行矩阵乘法的动力学，PSN 的仿真速度显著快于普通的 LIF/IF 神经元。
• PSN 变体（掩蔽、滑动）在序列性 CIFAR 任务上保持高准确性，优于若干传统尖峰神经元。
• 序列 CIFAR 结果显示 PSN 表现最佳；掩蔽 PSN 与滑动 PSN 紧随 PSN，具备强步进推理能力。
• 在静态和神经形态数据集上，PSN 和滑动 PSN 在更少的时间步和参数下提供有竞争力的准确性。
• 长期依赖任务（Sequential CIFAR-10/100）更偏向 PSN 家族，相对于 GLIF、KLIF、PLIF 以及带重置或不带重置的 LIF 变体。
• 总体而言，滑动 PSN 在各任务中通常实现更高准确性和更好的泛化能力，超越掩蔽 PSN。
• PSN 在常见的 SNN 主干网络（如 ResNet-18/VGG-11）中几乎不增加参数，同时带来显著的吞吐提升。

Figure 2: Comparison of the PSN family on the parameter number $n_{param}$ and the generation of hidden states.