[论文解读] Rockpool Documentation

Dylan R. Muir, Bauer, Felix+1 more|arXiv (Cornell University)|Aug 27, 2022

Advanced Memory and Neural Computing被引用 14

一句话总结

本文提出了一种高层次、易于使用的流水线，结合Rockpool与Xylo神经形态处理器，用于训练和部署亚毫瓦级脉冲神经网络（SNN）以实现实时音频分类。该方法在动态功耗低于100 µW、中位延迟为100 ms的条件下实现了98%的准确率，使无需SNN专业知识的机器学习工程师也能实现低功耗边缘推理。

ABSTRACT

Rockpool is a Python machine-learning package for designing, building and deploying event-driven neural network applications, particularly for Neuromorphic computing hardware. Rockpool provides a simple and comfortable API for working with spiking neural networks. Along with PyTorch and Jax support, Rockpool provides accellerated training for SNNs, and an extensible deployment pipeline.

研究动机与目标

• 使具备标准DNN背景的机器学习工程师能够无需研究生级别的SNN专业知识，即可设计、训练并部署SNN用于边缘应用。
• 开发一种通用、高层级的软件流水线，支持从网络架构定义到硬件部署的端到端SNN应用开发。
• 在神经形态硬件上实现亚毫瓦级SNN推理，用于实时流式音频分类，具备低延迟和高准确率。
• 通过支持基于梯度的训练和硬件感知量化，弥合现代深度学习框架与神经形态硬件之间的鸿沟。
• 为电池供电设备（如助听器和智能耳机）中的连续环境音频场景分类提供实用、节能的解决方案。

提出的方法

• 在深层SNN中采用突触时间常数的金字塔结构，以从音频信号中提取多尺度时间特征。
• 使用滤波器组将单通道音频预处理为16个频带（50 Hz–8000 Hz），随后提取功率包络。
• 使用Rockpool（一个基于PyTorch的库）训练SNN，该库支持SNN的自动微分与基于梯度的优化。
• 采用替代梯度下降法对SNN进行端到端训练，实现通过脉冲动态的反向传播。
• 使用Rockpool的部署流水线对训练好的SNN进行量化并映射到Xylo神经形态推理处理器。
• 在Xylo上以流式模式执行模型，推理以10 Hz的频率持续进行，中位延迟为100 ms。

实验结果

研究问题

• RQ1 像Rockpool这样与PyTorch集成的高层级框架，能否使机器学习工程师在无需专门SNN知识的情况下，实现SNN的训练与部署？
• RQ2 具有突触时间常数金字塔结构的前馈SNN，是否能在保持超低功耗运行的同时，在音频场景分类任务中实现高准确率？
• RQ3 Xylo处理器的动态推理功耗与同类音频任务的其他低功耗推理平台相比如何？
• RQ4 SNN能否在真实流式音频应用中实现与最小推理功耗和低延迟相匹配的竞争力表现？
• RQ5 在将SNN部署到神经形态ASIC时，硬件感知训练与量化在多大程度上能保持准确率？

主要发现

• 所提出的SNN架构在QUT-NOISE数据集上对环境音频场景分类（CAFE、HOME、CAR、STREET）达到了98%的准确率。
• 该系统在Xylo-A2神经形态处理器上运行时，动态推理功耗低于100 µW，中位延迟为100 ms。
• Xylo处理器在空闲模式下仅消耗219 µW，显著低于MAX78000的792–2370 µW，整体能效更高。
• 每次推理的动态能耗为9.3 µJ，每神经元每次推理能耗为0.12 µJ，与MAX78000 CNN处理器的能效相当。
• Xylo上每神经元0.12 µJ的动态能耗为目前报道的最低水平之一，甚至优于Intel Loihi的神经元能效表现。
• Rockpool实现了对训练后SNN的无缝部署，代码量极少，展示了工业级SNN应用开发的实用、端到端工作流。