[论文解读] Noisy Softplus: an activation function that enables SNNs to be trained as ANNs

Qian Liu, Yunhua Chen+1 more|arXiv (Cornell University)|Mar 31, 2017

Advanced Memory and Neural Computing参考文献 11被引用 9

一句话总结

本文提出 Noisy Softplus，一种可微分激活函数，使脉冲神经网络（SNNs）能够使用标准反向传播进行端到端训练，如同人工神经网络（ANNs）一样。通过精确建模添加噪声的突触输入下漏电整合-放电（LIF）神经元的放电率，该方法实现了从训练好的 ANNs 到 SNNs 的直接权重迁移，在 MNIST 上达到 98.85% 的测试准确率——几乎与原始基于 ReLU 的 ANNs 的 99.05% 相当，并优于以往使用 LIF 神经元的 SNNs。

ABSTRACT

We extended the work of proposed activation function, Noisy Softplus, to fit into training of layered up spiking neural networks (SNNs). Thus, any ANN employing Noisy Softplus neurons, even of deep architecture, can be trained simply by the traditional algorithm, for example Back Propagation (BP), and the trained weights can be directly used in the spiking version of the same network without any conversion. Furthermore, the training method can be generalised to other activation units, for instance Rectified Linear Units (ReLU), to train deep SNNs off-line. This research is crucial to provide an effective approach for SNN training, and to increase the classification accuracy of SNNs with biological characteristics and to close the gap between the performance of SNNs and ANNs.

研究动机与目标

• 为解决高效训练深层脉冲神经网络（SNNs）的挑战，同时保持生物合理性与能效优势。
• 通过使 SNNs 能够使用与 ANNs 相同的标准反向传播进行直接训练，缩小 SNNs 与 ANNs 之间的性能差距。
• 开发一种可推广的方法，使训练好的 ANNs 权重可直接部署于 SNNs 中，无需转换或微调。
• 提升使用 LIF 神经元的 SNNs 的分类准确率，因其比更简单的 IF 神经元更具生物现实性。

提出的方法

• 提出 Noisy Softplus 作为可微分激活函数，通过结合 Softplus 与随机噪声，建模在噪声突触输入下 LIF 神经元的放电率。
• 使用 LIF 神经元响应的随机近似替代确定性的 Siegert 函数，提升与真实脉冲动力学的一致性。
• 采用标准反向传播对使用 Noisy Softplus 的深层 SNNs 进行端到端训练，实现从 ANNs 到 SNNs 的直接权重迁移。
• 采用两阶段训练策略：首先在 ANNs 中使用 ReLU 进行训练，然后通过 Noisy Softplus 进行微调，以减少 SNN 中的准确率下降。
• 在 PyNN 模拟中，使用标准卷积网络架构（12c5-2s-64c5-2s-10fc）在 MNIST 数据集上验证该方法。
• 基于突触事件速率和放电频率估算能耗，采用硬件特定能耗成本（例如，SpiNNaker 上每事件 8 nJ）。

实验结果

研究问题

• RQ1 能否设计一种可微分激活函数，以在真实噪声输入条件下准确建模 LIF 神经元的放电率？
• RQ2 使用该激活函数，SNNs 是否能通过标准反向传播进行训练，并实现与 ANNs 相当的性能？
• RQ3 所提出的方法是否允许将训练好的 ANNs 权重直接部署于 SNNs 中，而无需转换或重新训练？
• RQ4 使用 Noisy Softplus 训练的 SNNs 在分类准确率和能效方面，与最先进 SNNs 和 ANNs 相比表现如何？

主要发现

• 在 SNN 中使用 Noisy Softplus 激活函数时，MNIST 数据集上的分类准确率达到 98.85%，相比原始基于 ReLU 的 ANNs（99.05%）仅下降 0.20%。
• 该性能是目前使用 LIF 神经元的 SNNs 中报告的最高准确率，优于具有相似架构的先前 SNN 模型。
• 该方法实现了使用标准反向传播对 SNNs 进行端到端训练，且训练好的权重可直接用于 SNNs，无需转换步骤。
• 通过 Noisy Softplus 进行微调显著减少了预测放电率与实际放电率之间的差异，提升了各次试验中的稳定性和准确率。
• SNN 在测试时间 300 ms 内即实现稳定分类性能，表明其适用于实时类脑视觉应用。
• 能耗估算显示，在 SpiNNaker 上以 300 ms 内分类 10,000 张 MNIST 图像，功耗约为 0.064 W，突触事件速率为 8×10⁶/s。