[论文解读] Unifying Activation- and Timing-based Learning Rules for Spiking Neural Networks

Jinseok Kim, Kyungsu Kim+1 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Memory and Neural Computing被引用 22

一句话总结

本文提出 ANTLR，一种统一的脉冲神经网络学习规则，结合了基于激活的反向传播与基于时间的反向传播，以改进梯度估计。通过联合优化脉冲的生成/移除与脉冲时间的调整，ANTLR 在低脉冲率条件下（对能效推理至关重要）实现了比以往方法更高的准确率和效率。

ABSTRACT

For the gradient computation across the time domain in Spiking Neural Networks (SNNs) training, two different approaches have been independently studied. The first is to compute the gradients with respect to the change in spike activation (activation-based methods), and the second is to compute the gradients with respect to the change in spike timing (timing-based methods). In this work, we present a comparative study of the two methods and propose a new supervised learning method that combines them. The proposed method utilizes each individual spike more effectively by shifting spike timings as in the timing-based methods as well as generating and removing spikes as in the activation-based methods. Experimental results showed that the proposed method achieves higher performance in terms of both accuracy and efficiency than the previous approaches.

研究动机与目标

• 解决现有基于梯度的脉冲神经网络（SNN）训练方法的局限性，这些方法将脉冲激活与时间分离处理。
• 将基于激活与基于时间的学习规则统一为单一、更精确的梯度计算框架。
• 在低脉冲数条件下提升 SNN 性能，此类条件对能效推理至关重要。
• 通过同时调整脉冲的存在与否与脉冲时间，更有效地利用单个脉冲。
• 证明结合两种学习范式可在 MNIST 和 N-MNIST 等基准任务上实现更优性能。

提出的方法

• 提出统一的学习规则 ANTLR，整合来自脉冲激活变化与脉冲时间偏移的梯度。
• 采用代理梯度方法处理脉冲函数的不可微性，实现时间反向传播。
• 从脉冲存在/缺失（基于激活）与现有脉冲的精确时间（基于时间）两方面推导梯度贡献。
• 将组合梯度应用于突触权重更新，实现脉冲生成与时间精度的同步优化。
• 采用具有 RNN 类似循环结构与脉冲响应核公式化的漏电整合-放电（LIF）神经元模型，以描述时间动态。
• 使用脉冲响应核 ε[τ] 将膜电位表达为过去脉冲的加权和，实现梯度的解析计算。

实验结果

研究问题

• RQ1 在低脉冲条件下，基于激活与基于时间的学习规则在梯度精度与性能方面有何差异？
• RQ2 能否通过结合基于激活与基于时间的梯度，实现更准确、更高效的 SNN 训练？
• RQ3 脉冲密度对独立与统一学习规则的性能有何影响？
• RQ4 当为能效而限制脉冲数量时，统一的 ANTLR 规则是否优于现有方法？
• RQ5 所提出方法如何处理单个脉冲状态的变化，如脉冲生成、移除或时间偏移？

主要发现

• 在 MNIST 与 N-MNIST 数据集上，ANTLR 在脉冲数量受限时的准确率均高于基于激活与基于时间的方法。
• 在 N-MNIST 任务中施加单脉冲限制时，ANTLR 保持了高准确率，而基于激活的方法因依赖多个脉冲而显著退化。
• 基于时间的方法在单脉冲条件下有所改善，但 ANTLR 通过有效结合两种机制，表现更优。
• ANTLR 实现相当或更优性能所需的总脉冲数少于基于激活的方法，证明了其更高的样本效率。
• 实验表明，先前高准确率的 SNN 结果可能得益于高脉冲计数；ANTLR 即使在低脉冲率条件下也能实现优异性能。
• 分析证实，基于激活与基于时间的方法具有互补性：前者在多脉冲场景中表现更优，后者在单脉冲场景中更具优势。