[论文解读] SPARQ: Spiking Early-Exit Neural Networks for Energy-Efficient Edge AI

Parth Patne, Mahdi Taheri+4 more|arXiv (Cornell University)|Mar 15, 2026

Advanced Memory and Neural Computing被引用 0

一句话总结

SPARQ 将尖峰计算、量化感知训练和 RL 引导的早退出整合为 Quantized Dynamic SNNs (QDSNNs)，在边缘数据集上显著降低能量与运算量且保持准确性。

ABSTRACT

Spiking neural networks (SNNs) offer inherent energy efficiency due to their event-driven computation model, making them promising for edge AI deployment. However, their practical adoption is limited by the computational overhead of deep architectures and the absence of input-adaptive control. This work presents SPARQ, a unified framework that integrates spiking computation, quantization-aware training, and reinforcement learning-guided early exits for efficient and adaptive inference. Evaluations across MLP, LeNet, and AlexNet architectures demonstrated that the proposed Quantised Dynamic SNNs (QDSNN) consistently outperform conventional SNNs and QSNNs, achieving up to 5.15% higher accuracy over QSNNs, over 330 times lower system energy compared to baseline SNNs, and over 90 percent fewer synaptic operations across different datasets. These results validate SPARQ as a hardware-friendly, energy-efficient solution for real-time AI at the edge.

研究动机与目标

• 通过将脉冲神经网络与输入自适应的早退出和量化相结合，推动边缘 AI 的能效提升。
• 开发统一的 QDSNN 框架，利用 RL 在应用量化感知训练（QAT）的同时为每个输入选择退出点。
• 在标准架构（MLP、LeNet、AlexNet）上在 MNIST 和 CIFAR-10 上评估 QDSNN，以展示准确性与能量的收益。

提出的方法

• 使用 Leaky Integrate-and-Fire 神经元将预训练的 ANN 转换为 SNN。
• 在中间层附加轻量级的早退出分支，并通过 RL 训练的策略决定是否退出或继续。
• 应用量化感知训练以将权重和激活值降至 INT8 精度。
• 训练一个带有 Q 学习的 RL 智能体，根据当前退出索引和置信度（最大 softmax）选择退出点。
• 通过包含 LIF 动力学和内存访问的完整框架对能量进行建模，并报告运算能量与系统能量。
• 在 MNIST 和 CIFAR-10 上对 5 层 MLP、LeNet-5、AlexNet 等架构进行评估，基线 T=32，量化变体 T=4。

实验结果

研究问题

• RQ1 在量化 SNN 中由 RL 指导的早退出是否能在显著降低能量与运算量的同时维持高准确性？
• RQ2 在对动态 SNN 应用 QAT 时，退出深度、准确性和能量之间的权衡是什么？
• RQ3 QDSNN 在准确性、运算量和端到端能量方面与标准 SNN 和 QSNN 相比，在常见架构和数据集上有何表现？
• RQ4 在 CIFAR-10 的 AlexNet 上使用 RL 退出策略时，不同类别的路由行为会有什么样的模式？
• RQ5 将 LIF 动力学纳入能量建模对整体效率估计有何影响？

主要发现

• QDSNN 在评估任务上相对于 QSNN 可实现最高 5.15% 的准确性提升。
• 在某些配置下，QDSNN 相对基线 SNN 的系统能量最低可降低至约 330×。
• QDSNN 相对于 SNN 基线在测试数据集上可将突触运算量减少超过 90×。
• 在 MNIST 上，QDSNN（Cfg:0.6/0.7）以 18.70M AC 取得 97.80% 的准确性，且相比基线有优势。
• 在 MNIST 的 LeNet 上，QDSNN（Cfg:0.6/0.7）达到 98.24% 的准确性，使用 13.92M AC。
• 在 CIFAR-10 的 AlexNet 上，QDSNN（Cfg:0.6/0.7）达到 78.00% 的准确性，使用 0.27M 触发的 Spike-AC，且整体能量降低幅度显著。