[论文解读] Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors

Muir, Dylan|arXiv (Cornell University)|Jan 1, 2021

Advanced Memory and Neural Computing参考文献 64被引用 24

一句话总结

该论文提出了一种用于脉冲神经网络（SNNs）的监督训练方法，在无需每芯片校准的情况下，可在混合信号类脑芯片上实现稳健性能。通过利用源自控制理论的局部学习规则模仿一个预训练的循环神经网络（RNN），该方法生成的SNN对器件失配、热噪声和量化误差具有强鲁棒性，从而实现低功耗类脑芯片上可靠部署，且硬件开销极小。

ABSTRACT

Mixed-signal analog/digital circuits emulate spiking neurons and synapses with extremely high energy efficiency, an approach known as “neuromorphic engineering”. However, analog circuits are sensitive to process-induced variation among transistors in a chip (“device mismatch”). For neuromorphic implementation of Spiking Neural Networks (SNNs), mismatch causes parameter variation between identically-configured neurons and synapses. Each chip exhibits a different distribution of neural parameters, causing deployed networks to respond differently between chips. Current solutions to mitigate mismatch based on per-chip calibration or on-chip learning entail increased design complexity, area and cost, making deployment of neuromorphic devices expensive and difficult. Here we present a supervised learning approach that produces SNNs with high robustness to mismatch and other common sources of noise. Our method trains SNNs to perform temporal classification tasks by mimicking a pre-trained dynamical system, using a local learning rule from non-linear control theory. We demonstrate our method on two tasks requiring temporal memory, and measure the robustness of our approach to several forms of noise and mismatch. We show that our approach is more robust than common alternatives for training SNNs. Our method provides robust deployment of pre-trained networks on mixed-signal neuromorphic hardware, without requiring per-device training or calibration.

研究动机与目标

• 为解决混合信号类脑处理器中器件失配带来的挑战，该挑战会导致跨芯片的SNN性能下降。
• 通过训练SNN使其对参数变化具有内在鲁棒性，从而消除对昂贵的单设备校准或片上学习的需求。
• 实现在无需部署后适应的情况下，将预训练的SNN可靠地部署于类脑硬件上。
• 开发一种结合知识蒸馏与局部学习规则的训练框架，用于时间分类任务。

提出的方法

• 使用时间反向传播（BPTT）训练一个非脉冲的速率RNN，以解决目标时间分类或回归任务。
• 利用RNN的内部动力学作为教师系统，通过受非线性控制理论启发的局部学习规则，训练脉冲神经网络（SNN）。
• 实现一个具有漏电积分-发放（LIF）神经元和平衡快/慢递归权重的SNN，以确保稳定性和鲁棒性。
• 通过使用衰减反馈速率的反馈误差校正，最小化SNN输出与教师RNN隐藏状态之间的差异。
• 通过知识蒸馏，训练SNN以复现RNN的隐藏状态动力学，确保任务性能得以保持。
• 在训练过程中引入噪声，以模拟器件失配、热噪声和量化效应，增强对硬件缺陷的泛化能力。

实验结果

研究问题

• RQ1 是否存在一种监督训练方法，可生成对器件失配具有鲁棒性的SNN，且无需每芯片校准或片上学习？
• RQ2 与标准SNN训练方法相比，该方法在参数变化和噪声下的鲁棒性如何？
• RQ3 从速率RNN进行知识蒸馏在多大程度上可使SNN在硬件引入的噪声下仍保持时间任务的高性能？
• RQ4 基于控制理论推导出的局部学习规则是否能有效支持SNN在任意监督任务上的训练？
• RQ5 在已知参数失配的真实混合信号类脑硬件上部署时，所生成的SNN能否保持准确性？

主要发现

• 与标准SNN训练方法相比，该方法在器件失配方面表现出显著更高的鲁棒性（最高达20%），且性能下降极小。
• 使用该方法训练的SNN在突触权重被量化至低至2位时仍保持高准确率，证明其对低精度实现的强鲁棒性。
• 该方法对热噪声具有鲁棒性，即使在高噪声水平（σ = 0.1）下性能下降也极低，表明其适用于真实硬件。
• 当40%的神经元被抑制时，SNN仍保持稳定与准确，显示出对神经元失效和硬件故障的鲁棒性。
• 该方法可在DYNAP™-SE1类脑硬件上实现可靠部署，仅消耗7.6 µW动态功耗和30 µW静态功耗，实现超低能耗。
• 在所有测试的噪声条件下（包括失配、量化和热噪声），该方法均优于基线方法，证实其强大的泛化能力。