[论文解读] Training Spiking Neural Networks with Local Tandem Learning

Qu Yang, Jibin Wu+4 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Memory and Neural Computing被引用 20

一句话总结

局部串联学习（LTL）通过逐层局部损失来模拟中间人工神经网络特征，从而训练深度脉冲神经网络，实现快速收敛和对硬件友好的片上训练，在 CIFAR-10/100 和 Tiny ImageNet 上具备与人工神经网络相当的精度。

ABSTRACT

Spiking neural networks (SNNs) are shown to be more biologically plausible and energy efficient over their predecessors. However, there is a lack of an efficient and generalized training method for deep SNNs, especially for deployment on analog computing substrates. In this paper, we put forward a generalized learning rule, termed Local Tandem Learning (LTL). The LTL rule follows the teacher-student learning approach by mimicking the intermediate feature representations of a pre-trained ANN. By decoupling the learning of network layers and leveraging highly informative supervisor signals, we demonstrate rapid network convergence within five training epochs on the CIFAR-10 dataset while having low computational complexity. Our experimental results have also shown that the SNNs thus trained can achieve comparable accuracies to their teacher ANNs on CIFAR-10, CIFAR-100, and Tiny ImageNet datasets. Moreover, the proposed LTL rule is hardware friendly. It can be easily implemented on-chip to perform fast parameter calibration and provide robustness against the notorious device non-ideality issues. It, therefore, opens up a myriad of opportunities for training and deployment of SNN on ultra-low-power mixed-signal neuromorphic computing chips.10

研究动机与目标

• 提供一种通用、对硬件友好的方法来训练能够在模拟神经形态底物上运行的深度 SNNs。
• 通过将 SNN 的层表示与预训练的 ANN 特征对齐，利用师生知识迁移。
• 以较低的计算复杂度实现快速收敛（在 CIFAR-10 上五个训练轮内）。
• 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上展示 LTL 训练的 SNN 的竞争性精度。
• 通过在线、片上学习展示 LTL 对硬件非理想性的鲁棒性。

提出的方法

• 提出局部串联学习（LTL），一种受教师-学生启发的规则，其中 SNN 通过层级局部损失模仿 ANN 的中间表示。
• 使用离线 LTL，通过 ANN 激活与归一化的 SNN 放电率之间的均方误差来驱动逐层学习（对局部损失应用 BPTT）。
• 采用一个在线 LTL 变体，使用时序局部损失与移动平均放电率以实现片上、内存高效的学习。
• 使用带箱形导数的代理梯度方法来处理不可微分的脉冲激活，以实现基于梯度的更新。
• 提供一种片上学习电路设计，使更新被门控并由层本地误差提供，从而减少内存和硬件需求。
• 显示与多种神经元模型（IF 和 LIF）以及离线和在线训练方案的兼容性。

实验结果

研究问题

• RQ1 局部串联学习是否能够在神经元层级层局部损失下，将 ANN 的特征表示有效转移到 SNN 中？
• RQ2 LTL 是否能够在 CIFAR-10/100 和 Tiny ImageNet 上实现深度 SNN 的快速收敛和高精度？
• RQ3 就内存、时间复杂度和硬件鲁棒性而言，LTL 与 STBP 及其他 SNN 训练方法相比如何？
• RQ4 在线 LTL 是否适合片上学习，并对器件不匹配、量化和噪声等非理想性具有鲁棒性？
• RQ5 LTL 是否能够在不同的脉冲神经元模型（IF 与 LIF）以及不同的时间窗口大小下维持性能？

主要发现

• LTL 实现快速收敛，离线和在线变体在 VGG-11/16 架构的 CIFAR-10 上均在五个训练轮内收敛。
• LTL 训练的 SNN 在 IF 和 LIF 模型下，在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上达到与教师 ANN 相当的精度。
• 在线 LTL 显著降低内存和时间复杂度，使片上局部学习在不存储完整时间历史的情况下成为可能。
• LTL 通过在几个训练轮内的片上标定，显示对硬件相关噪声（器件失配、量化、热噪声、神经元失活）的鲁棒性。
• 与 STBP 及其他方法相比，LTL 在保持竞争性精度的同时具有更低的计算成本和更低的跨深度梯度累积误差。
• LTL 相较于同等精度的 ANN 需要更少的 SynOps，表明在类神经形态硬件上具有潜在的能效收益。