[论文解读] Towards Scalable, Efficient and Accurate Deep Spiking Neural Networks with Backward Residual Connections, Stochastic Softmax and Hybridization

Priyadarshini Panda, Aparna Aketi+1 more|arXiv (Cornell University)|Oct 30, 2019

Advanced Memory and Neural Computing参考文献 40被引用 6

一句话总结

本文提出向后残差连接、随机软最大函数（stochastic softmax）以及人工-脉冲神经网络混合架构，以提升深度脉冲神经网络（SNNs）的可扩展性、效率和准确性。通过实现具有共享计算的逻辑深层SNN、减少脉冲活动，并结合ReLU与LIF神经元，该方法在CIFAR10和ImageNet上实现了接近当前最先进水平的准确率，同时相较于传统人工神经网络（ANNs）实现了高达100倍的能效提升，且保持了低延迟。

ABSTRACT

Spiking Neural Networks (SNNs) may offer an energy-efficient alternative for implementing deep learning applications. In recent years, there have been several proposals focused on supervised (conversion, spike-based gradient descent) and unsupervised (spike timing dependent plasticity) training methods to improve the accuracy of SNNs on large-scale tasks. However, each of these methods suffer from scalability, latency and accuracy limitations. In this paper, we propose novel algorithmic techniques of modifying the SNN configuration with backward residual connections, stochastic softmax and hybrid artificial-and-spiking neuronal activations to improve the learning ability of the training methodologies to yield competitive accuracy, while, yielding large efficiency gains over their artificial counterparts. Note, artificial counterparts refer to conventional deep learning/artificial neural networks. Our techniques apply to VGG/Residual architectures, and are compatible with all forms of training methodologies. Our analysis reveals that the proposed solutions yield near state-of-the-art accuracy with significant energy-efficiency and reduced parameter overhead translating to hardware improvements on complex visual recognition tasks, such as, CIFAR10, Imagenet datatsets.

研究动机与目标

• 解决现有SNN训练方法（如转换法、近似梯度下降AGD、STDP）在可扩展性、延迟和准确性方面的局限性。
• 通过缓解深层网络中脉冲传播消失的问题，提升深度SNN的训练稳定性和性能。
• 在不增加参数量或计算开销的前提下，提升能效性和准确性。
• 实现SNN-ANN混合架构，结合人工神经元与脉冲神经元的优势，以提升复杂视觉任务的性能。
• 证明架构改进可在所有主流SNN训练范式中显著提升能效与准确性。

提出的方法

• 引入向后残差（BackRes）连接，以类似循环的方式展开网络层，实现共享权重的深层逻辑结构，减少参数量。
• 在最后一层使用随机软最大函数（stochmax），以提升AGD训练中的预测准确率并减少脉冲活动。
• 设计交替使用ReLU（类似ANN）和LIF（类似SNN）激活函数的混合网络，以改善STDP和AGD训练中的学习动态与准确性。
• 采用速率编码将实值图像转换为泊松分布的脉冲序列，实现事件驱动处理与低功耗运行。
• 将BackRes机制应用于VGG和ResNet风格架构，使深层SNN可高效训练，而无需实现完整深度。
• 通过stochmax实现AGD训练SNN的端到端反向传播，减少脉冲活动并提升收敛性。

实验结果

研究问题

• RQ1 向后残差连接是否能缓解深层SNN中的脉冲传播消失问题并提升训练稳定性？
• RQ2 与传统软最大函数相比，随机软最大函数是否能提升AGD训练SNN的预测准确率与能效？
• RQ3 混合SNN-ANN架构是否能实现比纯脉冲网络或人工网络更高的准确率与更低的延迟？
• RQ4 这些架构改进在不同SNN训练方法中，能在多大程度上提升能效与可扩展性？
• RQ5 混合SNN是否能在保持与ANN相同准确率的前提下，显著降低ImageNet等大规模数据集上的能耗？

主要发现

• 与等效的全深层SNN相比，向后残差连接通过稀疏化网络活动，使能耗降低1.8–3.5倍。
• 随机软最大函数在AGD训练中使SNN的准确率提升2–3%，相比传统软最大函数，能效提升1.6–2倍。
• 混合架构在CIFAR10上使用STDP和AGD训练可达到80–85%的准确率，准确率与等效ANN相当或更优，且能效提升达4倍。
• 所提方法使在ImageNet上训练深度VGG13模型成为可能，其准确率与ANN对应模型相当，且能效最高提升100倍。
• BackRes连接可在极低参数开销下实现逻辑深层SNN，提升所有训练方法的可扩展性，且无需重新设计架构。
• 混合SNN-ANN方法支持分布式边缘-云推理，其中SNN层在低功耗边缘设备上运行，ANN层在云端处理。