[论文解读] Technical report: supervised training of convolutional spiking neural networks with PyTorch

Romain Zimmer, Thomas Pellegrini+2 more|arXiv (Cornell University)|Nov 22, 2019

Advanced Memory and Neural ComputingEngineering被引用 17

一句话总结

该论文提出了一种使用反向传播时间算法与替代梯度的监督训练框架，用于卷积脉冲神经网络（SNNs），基于PyTorch实现。该方法引入了空间与时间卷积、受Denève启发的侧向横向连接，并在Google语音命令数据集上实现了94%的准确率，且脉冲发放率极低（约5Hz），展示了SNN在事件驱动学习中的最先进性能。

ABSTRACT

Recently, it has been shown that spiking neural networks (SNNs) can be trained efficiently, in a supervised manner, using backpropagation through time. Indeed, the most commonly used spiking neuron model, the leaky integrate-and-fire neuron, obeys a differential equation which can be approximated using discrete time steps, leading to a recurrent relation for the potential. The firing threshold causes optimization issues, but they can be overcome using a surrogate gradient. Here, we extend previous approaches in two ways. Firstly, we show that the approach can be used to train convolutional layers. Convolutions can be done in space, time (which simulates conduction delays), or both. Secondly, we include fast horizontal connections à la Denève: when a neuron N fires, we subtract to the potentials of all the neurons with the same receptive the dot product between their weight vectors and the one of neuron N. As Denève et al. showed, this is useful to represent a dynamic multidimensional analog signal in a population of spiking neurons. Here we demonstrate that, in addition, such connections also allow implementing a multidimensional send-on-delta coding scheme. We validate our approach on one speech classification benchmarks: the Google speech command dataset. We managed to reach nearly state-of-the-art accuracy (94%) while maintaining low firing rates (about 5Hz). Our code is based on PyTorch and is available in open source at http://github.com/romainzimmer/s2net

研究动机与目标

• 开发一种可扩展、可微分的框架，用于通过时间反向传播训练深层卷积脉冲神经网络（SNNs）。
• 将SNN训练扩展至包含空间与时间卷积，以处理动态、时变信号（如音频）。
• 集成类似Denève的侧向横向连接，实现多维发送-增量编码并改善信号表征。
• 在SNN中实现高准确率与稀疏、生物合理脉冲活动，接近标准DNN的性能。
• 提供开源、基于PyTorch的实现，降低SNN研究的入门门槛。

提出的方法

• 采用漏斗积分-放电（LIF）神经元模型，其微分方程通过离散时间步长近似，其中 β = e^(-h/τ)。
• 应用替代梯度反向传播以处理非可微的放电阈值，梯度缩放系数为10。
• 实现同时作用于空间与时间维度的卷积层，卷积核在时间轴与频率轴上尺寸为H×W。
• 引入侧向横向连接：当神经元放电时，其感受野内其他神经元的膜电位通过与该神经元权重向量的点积进行更新。
• 采用全连接读出层，并对脉冲活动施加L2正则化，以增强稀疏性并降低放电率。
• 使用Rectified-Adam优化器，学习率设为10⁻³，权重衰减为10⁻⁵，并采用梯度裁剪以稳定训练。

实验结果

研究问题

• RQ1 能否通过时间反向传播与替代梯度有效训练卷积脉冲神经网络？
• RQ2 侧向横向连接的引入是否能改善SNN中的信号表征与分类性能？
• RQ3 SNN能否在保持极低脉冲发放率的前提下，在语音识别任务中实现高准确率？
• RQ4 空间与时间卷积的结合对事件驱动学习中的性能有何影响？
• RQ5 在使用大时间步长离散化时，时间递归是否为必要条件？

主要发现

• 该模型在Google语音命令数据集上实现了94%的准确率，接近标准DNN的性能（96–97%）。
• 网络维持了极低的平均放电率，约为5Hz，表明其具有高度稀疏且能效优越的活动特性。
• 正则化系数能有效调控稀疏性与准确率之间的权衡，如图6.2所示。
• 侧向横向连接实现了多维发送-增量编码方案，提升了网络中的信号表征能力。
• 即使不使用侧向连接，模型性能也表现相当，表明此类连接虽有益但并非该任务的必要条件。
• 在使用大时间步长离散化时，时间递归并非必需，因每个时间步独立处理已足够。