[论文解读] Training Spiking Deep Networks for Neuromorphic Hardware

Eric Hunsberger, Chris Eliasmith|arXiv (Cornell University)|Jan 1, 2016

Advanced Memory and Neural Computing参考文献 14被引用 109

一句话总结

本文提出一种可扩展的方法，用于训练具有漏电整合-放电（LIF）神经元和噪声正则化的深度人工神经网络（ANN），从而在五个数据集（包括ImageNet）上实现脉冲神经网络（SNN）的最先进性能。通过软化LIF响应函数以确保导数有界，并在输出端添加噪声进行训练，该方法在实现高精度的同时，也实现了在神经形态硬件上的能效部署。

ABSTRACT

We describe a method to train spiking deep networks that can be run using leaky integrate-and-fire (LIF) neurons, achieving state-of-the-art results for spiking LIF networks on five datasets, including the large ImageNet ILSVRC-2012 benchmark. Our method for transforming deep artificial neural networks into spiking networks is scalable and works with a wide range of neural nonlinearities. We achieve these results by softening the neural response function, such that its derivative remains bounded, and by training the network with noise to provide robustness against the variability introduced by spikes. Our analysis shows that implementations of these networks on neuromorphic hardware will be many times more power-efficient than the equivalent non-spiking networks on traditional hardware.

研究动机与目标

• 开发一种可扩展的方法，用于训练深度ANN，使其可被精确转换为适用于神经形态硬件的脉冲神经网络（SNN）。
• 解决使用复杂非线性神经元模型（如LIF神经元）进行训练的挑战，其响应函数具有无界导数。
• 通过在神经元输出端添加噪声进行训练，提高SNN对脉冲引起的变异性的鲁棒性。
• 证明使用该方法训练的SNN在大规模基准测试（如ImageNet）上可实现高精度，此前基于LIF的SNN无法实现此性能。
• 分析并量化神经形态实现相比传统硬件在能效方面的提升。

提出的方法

• 使用标准反向传播、ReLU非线性和最大池化层训练标准深度ANN。
• 将ReLU替换为平滑的软LIF响应函数，以确保导数有界，从而实现通过非线性层的反向传播。
• 使用软最大函数 ρ2(x) = γ log[1 + e^{x/γ}] 控制平滑度，其中当 γ → 0 时恢复为硬阈值。
• 在前向传播过程中，向每个神经元的输出添加随机噪声，以模拟脉冲列的变异性。
• 应用α函数突触滤波器（α(t) = (t/τs)e^{-t/τs}）对脉冲列进行时间滤波，近似突触后电位。
• 将训练好的ANN权重和偏置转换为使用LIF神经元的脉冲网络，其中可配置分类时间（c0, c1）和突触时间常数（τs）。

实验结果

研究问题

• RQ1 能否在保持高分类精度的前提下，成功将深度ANN转换为使用LIF神经元的SNN？
• RQ2 训练过程中添加噪声对模拟脉冲列变异性时SNN的鲁棒性和精度有何影响？
• RQ3 突触滤波和分类时间对SNN精度和能效的影响如何？
• RQ4 该方法能否在大规模基准测试（如ImageNet ILSVRC-2012）上实现基于LIF的SNN的可扩展性？
• RQ5 放电率和网络设计如何影响神经形态实现中的能效？

主要发现

• 该方法在五个数据集上实现了SNN的最先进性能，包括在使用LIF神经元的ImageNet ILSVRC-2012上达到16.2%的top-1错误率。
• 软LIF响应函数通过确保导数有界，实现了稳定的反向传播，且在切换到硬LIF阈值时精度下降极小。
• 通过添加噪声进行训练可减少脉冲变异性带来的误差，尽管在无噪声时ANN性能更优，但SNN在CIFAR-10上的精度仍提升了0.6%。
• 对于CIFAR-10和ImageNet，移除突触（τs = 0 ms）对精度影响甚微，表明对脉冲列滤波具有鲁棒性。
• MNIST网络由于平均放电率较低（9.67 Hz），需要一定量的突触滤波（τs > 0），而高放电率网络则无需此条件。
• 分类时间（c1）和起始时间（c0）对精度有显著影响，其最优值取决于网络架构和放电率。