[论文解读] SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments

Rachmad Vidya Wicaksana Putra, Muhammad Shafique|arXiv (Cornell University)|Feb 28, 2021

Advanced Memory and Neural Computing参考文献 31被引用 31

一句话总结

SpikeDyn 是一种新颖的脉冲神经网络（SNN）能效框架，可在动态环境中实现持续且无监督的学习。它通过直接侧向抑制消除抑制性神经元，从而降低能耗；在内存和能效约束下采用解析式SNN模型搜索；并使用具有动态阈值和权重衰减的自适应学习算法——相比最先进方法，训练能耗降低51%，推理能耗降低37%，在最近学习任务上的准确率提高21%。

ABSTRACT

Spiking Neural Networks (SNNs) bear the potential of efficient unsupervised and continual learning capabilities because of their biological plausibility, but their complexity still poses a serious research challenge to enable their energy-efficient design for resource-constrained scenarios (like embedded systems, IoT-Edge, etc.). We propose SpikeDyn, a comprehensive framework for energy-efficient SNNs with continual and unsupervised learning capabilities in dynamic environments, for both the training and inference phases. It is achieved through the following multiple diverse mechanisms: 1) reduction of neuronal operations, by replacing the inhibitory neurons with direct lateral inhibitions; 2) a memory- and energy-constrained SNN model search algorithm that employs analytical models to estimate the memory footprint and energy consumption of different candidate SNN models and selects a Pareto-optimal SNN model; and 3) a lightweight continual and unsupervised learning algorithm that employs adaptive learning rates, adaptive membrane threshold potential, weight decay, and reduction of spurious updates. Our experimental results show that, for a network with 400 excitatory neurons, our SpikeDyn reduces the energy consumption on average by 51% for training and by 37% for inference, as compared to the state-of-the-art. Due to the improved learning algorithm, SpikeDyn provides on avg. 21% accuracy improvement over the state-of-the-art, for classifying the most recently learned task, and by 8% on average for the previously learned tasks.

研究动机与目标

• 解决在物联网和边缘设备等资源受限的动态环境中部署能效高效SNN并实现持续无监督学习的挑战。
• 克服现有SNN因复杂架构和低效学习规则导致的高能耗、灾难性遗忘及虚假权重更新等局限。
• 设计一种框架，在严格内存和能效约束下优化训练与推理阶段，同时保持对顺序学习任务的高准确率。
• 实现实时适应新出现的未标注数据，无需重新训练且不造成对先前学习信息的灾难性遗忘。
• 开发一种轻量级、基于分析优化的SNN模型搜索方法，根据估计的内存和能耗，选择帕累托最优配置。

提出的方法

• 用直接侧向抑制连接替代传统抑制性神经元，以减少训练和推理过程中的神经元操作与能耗。
• 实现一种基于分析的SNN模型搜索算法，利用网络参数、位精度、输入处理能耗和样本数量等指标，估算内存占用和能耗，以选择帕累托最优模型。
• 引入一种轻量级的持续无监督学习算法，具备自适应学习率、动态膜电位阈值和权重衰减，以减少虚假更新并防止灾难性遗忘。
• 采用阈值自适应机制，在学习过程中选择性地使不重要的神经元失活，从而保留关键的旧信息。
• 通过权重衰减稳定突触权重，避免在线学习过程中先前学习特征的退化。
• 集成一种动态学习率策略，根据脉冲活动和任务进展自适应调整，以提升收敛性和准确率。

实验结果

研究问题

• RQ1 在SNN中，直接侧向抑制能否替代抑制性神经元，以降低能耗而不损害学习性能？
• RQ2 如何通过分析式模型搜索算法在内存和能耗约束下有效识别SNN的帕累托最优配置？
• RQ3 自适应学习率、动态阈值和权重衰减在动态数据流下的持续无监督SNN学习中，能在多大程度上提升准确率？
• RQ4 所提出的框架在无标签数据的在线学习场景中，如何缓解灾难性遗忘和虚假更新？
• RQ5 与最先进SNN相比，SpikeDyn在动态和非动态环境中的能耗与准确率权衡如何？

主要发现

• 与最先进SNN相比，SpikeDyn将平均训练能耗降低51%，推理能耗降低37%。
• 在最近学习的任务上，SpikeDyn相比最先进方法准确率提升21%，尤其在顺序任务学习的动态环境中表现显著。
• 平均而言，SpikeDyn使先前学习任务的准确率提升8%，表明其有效保留旧知识并减少灾难性遗忘。
• 在较大网络（N400）上，SpikeDyn实现训练能耗最高降低66%，推理能耗最高降低54%，在Jetson Nano等嵌入式GPU上也取得显著提升。
• 混淆矩阵显示，数字4和数字9因特征重叠常被误分类，但SpikeDyn通过自适应阈值和权重衰减有效减少了此类错误。
• 在非动态环境中，SpikeDyn通过最小化虚假更新和优化权重调整，保持与最先进方法相当的准确率。