[论文解读] tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks

Rachmad Vidya Wicaksana Putra, Muhammad Shafique|arXiv (Cornell University)|Jun 17, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

tinySNN 是一种框架，通过消除抑制性神经元、改进学习规则并应用权重和神经元参数的混合精度量化，实现了嵌入式系统中内存和能效高效的脉冲神经网络（SNNs）。其在不损失准确率的前提下，实现了最高达 3.32 倍的内存缩减和 2.9 倍的能效提升，使高精度 SNN 能够在资源受限设备上部署。

ABSTRACT

Larger Spiking Neural Network (SNN) models are typically favorable as they can offer higher accuracy. However, employing such models on the resource- and energy-constrained embedded platforms is inefficient. Towards this, we present a tinySNN framework that optimizes the memory and energy requirements of SNN processing in both the training and inference phases, while keeping the accuracy high. It is achieved by reducing the SNN operations, improving the learning quality, quantizing the SNN parameters, and selecting the appropriate SNN model. Furthermore, our tinySNN quantizes different SNN parameters (i.e., weights and neuron parameters) to maximize the compression while exploring different combinations of quantization schemes, precision levels, and rounding schemes to find the model that provides acceptable accuracy. The experimental results demonstrate that our tinySNN significantly reduces the memory footprint and the energy consumption of SNNs without accuracy loss as compared to the baseline network. Therefore, our tinySNN effectively compresses the given SNN model to achieve high accuracy in a memory- and energy-efficient manner, hence enabling the employment of SNNs for the resource- and energy-constrained embedded applications.

研究动机与目标

• 解决由于高内存和能耗需求，导致在资源和能效受限的嵌入式平台难以部署大型高精度 SNN 的挑战。
• 克服现有 SNN 优化技术在准确率、内存或能效效率之间存在权衡的局限性。
• 通过最小化训练和推理阶段的计算与内存开销，实现在线训练和推理的高效性。
• 开发一种模型选择机制，基于奖励优化方法，在准确率、内存和能效约束之间实现平衡。
• 实现高准确率 SNN，同时具备极小的内存占用和能耗，适用于物联网和边缘设备。

提出的方法

• 用直接侧向抑制替代抑制性神经元，消除其参数和操作，从而降低内存和计算负载。
• 通过最小化虚假权重更新并引入自适应强化机制，改进 STDP 学习规则，确保在操作减少后仍保持学习质量。
• 对权重和神经元参数应用混合精度量化，探索多种量化方案、精度级别（从 4 位到 32 位）以及舍入方法（如截断）。
• 引入一个评估内存-准确率-能耗权衡的奖励函数，实现基于用户约束的最优 SNN 模型自动选择。
• 在 GPU 和 Jetson Nano 上使用基于 PyTorch 的仿真环境，对 MNIST 和 Fashion-MNIST 数据集的准确率、内存占用和能耗进行评估。
• 评估后训练量化（PTQ）和迭代量化（ITQ）方案，以识别在低精度设置下仍能保持准确率的配置。

实验结果

研究问题

• RQ1 如何在不损失准确率的前提下，优化 SNN 在训练和推理阶段的内存与能效效率？
• RQ2 消除抑制性神经元对 SNN 准确率和能耗有何影响？
• RQ3 哪种量化方案、精度级别和舍入方法的组合，能在最小化内存和能耗的同时保持 SNN 准确率？
• RQ4 如何使模型选择框架有效平衡嵌入式部署中的准确率、内存占用和能耗？
• RQ5 对权重和神经元参数进行混合精度量化，能在多大程度上减少 SNN 的大小和能耗，同时保持性能？

主要发现

• 在 MNIST 和 Fashion-MNIST 数据集上，使用 8 位或更高精度的 tinySNN 准确率均高于基线 FP32 SNN 和 SL-STDP（FP32）。
• 与基线相比，该框架将 SNN 内存占用减少了最高达 3.3 倍（8 位权重）和 3.32 倍（8 位权重和神经元参数）
• 在训练阶段，8 位量化版本的能耗最多降低 1.9 倍；在推理阶段，最多降低 2.9 倍，其中最大收益来自消除抑制性神经元和量化。
• 模型选择机制能根据用户定义的准确率、内存和能耗权衡，成功识别出最优 SNN 配置，μ 值越高，越倾向于选择更小、更低精度的模型。
• 直接侧向抑制与改进学习规则的结合，在减少操作的同时仍能保持或提升准确率，证明了架构简化的有效性。
• 对权重和神经元参数同时进行量化，相比仅量化权重，可进一步节省内存和能耗，且当精度 ≥8 位时，准确率下降可忽略。