[论文解读] SLAYER: Spike Layer Error Reassignment in Time

Sumit Bam Shrestha, Garrick Orchard|arXiv (Cornell University)|Sep 5, 2018

Seismic Imaging and Inversion Techniques被引用 473

一句话总结

SLAYER 引入了一种用于在脉冲神经网络中学习突触权重和轴突延时的通用反向传播机制，利用时间信用分配来反向传播误差，并提供一个GPU加速实现，在与现有SNN方法和ANN到SNN转换的比较中，在多个数据集上实现了最先进的性能。

ABSTRACT

Configuring deep Spiking Neural Networks (SNNs) is an exciting research avenue for low power spike event based computation. However, the spike generation function is non-differentiable and therefore not directly compatible with the standard error backpropagation algorithm. In this paper, we introduce a new general backpropagation mechanism for learning synaptic weights and axonal delays which overcomes the problem of non-differentiability of the spike function and uses a temporal credit assignment policy for backpropagating error to preceding layers. We describe and release a GPU accelerated software implementation of our method which allows training both fully connected and convolutional neural network (CNN) architectures. Using our software, we compare our method against existing SNN based learning approaches and standard ANN to SNN conversion techniques and show that our method achieves state of the art performance for an SNN on the MNIST, NMNIST, DVS Gesture, and TIDIGITS datasets.

研究动机与目标

• 解决脉冲生成的不可微分性，以实现对SNNs的梯度基训练。
• 在一个统一的反向传播框架中同时学习突触权重和轴突延迟。
• 实现一个时间信用分配策略，将误差在时间上跨层传播。
• 提供用于训练全连接和CNN架构的GPU加速软件实现。
• 在多个数据集上将 SLAYER 与现有 SNN 学习方法和 ANN 到 SNN 转换方法进行比较。

提出的方法

• 提出一种反向传播机制，能够适应SNN中不可微的脉冲函数。
• 联合学习突触权重和轴突延迟，以优化基于脉冲的表征。
• 采用时间信用分配策略，将误差信号在时间上传播到前一层。
• 开发能够训练全连接网络和卷积神经网络的GPU加速软件。
• 与现有SNN学习方法和ANN到SNN转换技术进行实证比较。

实验结果

研究问题

• RQ1 尽管脉冲函数不可微，是否可以通过学习权重和延迟有效地对SNN进行反向传播？
• RQ2 在准确性和学习效率方面，SLAYER与现有SNN学习方法及ANN到SNN转换方法相比如何？
• RQ3 学习轴突延迟对标准SNN基准测试的性能有何影响？
• RQ4 GPU加速实现是否可扩展到卷积结构和如MNIST、NMNIST、DVS Gesture、TIDIGITS等数据集？

主要发现

• 在所研究的设置中，SLAYER在MNIST、NMNIST、DVS Gesture和TIDIGITS上实现了SNN的最先进性能。
• 该方法通过将权重和延迟更新与时间信用分配策略结合，实现了有效学习。
• 作者提供了GPU加速实现，并演示其对全连接和卷积神经网络架构的适用性。
• 与现有SNN学习方法和ANN到SNN转换技术相比，性能对比显示出有利的表现。