[论文解读] Neuromorphic Intermediate Representation: A Unified Instruction Set for Interoperable Brain-Inspired Computing

Jens Egholm Pedersen, Steven Abreu+13 more|arXiv (Cornell University)|Nov 24, 2023

Advanced Memory and Neural Computing被引用 6

一句话总结

本文提出了神经形态中间表示（NIR），一种统一的、连续时间的计算抽象，通过将脉冲神经网络建模为理想化的混合动力系统，实现了在多种神经形态硬件和软件平台之间的互操作性。NIR 解耦了硬件与软件的开发，使神经形态计算在7个仿真器和4个硬件平台上具备可重现性与可移植性，且行为保真度一致。

ABSTRACT

Spiking neural networks and neuromorphic hardware platforms that simulate neuronal dynamics are getting wide attention and are being applied to many relevant problems using Machine Learning. Despite a well-established mathematical foundation for neural dynamics, there exists numerous software and hardware solutions and stacks whose variability makes it difficult to reproduce findings. Here, we establish a common reference frame for computations in digital neuromorphic systems, titled Neuromorphic Intermediate Representation (NIR). NIR defines a set of computational and composable model primitives as hybrid systems combining continuous-time dynamics and discrete events. By abstracting away assumptions around discretization and hardware constraints, NIR faithfully captures the computational model, while bridging differences between the evaluated implementation and the underlying mathematical formalism. NIR supports an unprecedented number of neuromorphic systems, which we demonstrate by reproducing three spiking neural network models of different complexity across 7 neuromorphic simulators and 4 digital hardware platforms. NIR decouples the development of neuromorphic hardware and software, enabling interoperability between platforms and improving accessibility to multiple neuromorphic technologies. We believe that NIR is a key next step in brain-inspired hardware-software co-evolution, enabling research towards the implementation of energy efficient computational principles of nervous systems. NIR is available at neuroir.org

研究动机与目标

• 为解决异构神经形态硬件与软件堆栈之间缺乏互操作性的问题，该问题阻碍了可重现性与渐进式进展。
• 建立一个通用的计算参考框架，抽象出离散化和硬件特定约束。
• 解耦神经形态软件与硬件的发展，实现独立开发并提升可及性。
• 为理论研究者提供一个稳定、形式化的表示，以推理神经形态电路与动力学。
• 实现在多种神经形态系统之间可移植、平台无关的脉冲神经网络部署。

提出的方法

• 基于理想化的动力学方程设计NIR，作为连续时间混合系统表示，抽象出数值积分和硬件约束。
• 将一组计算原语（如LIF神经元、突触、积分器）作为图结构中间表示中的头等构造进行定义。
• 通过编译器风格的转换，实现NIR图与各种神经形态仿真器及硬件平台之间的双向映射。
• 使用形式化、数学基础坚实的规范，明确保留理想化动力学与实际实现之间的精确差异。
• 实现一个编译器栈，将高层模型翻译为NIR，再映射到目标后端，确保行为保真度。
• 通过在7个仿真器和4个硬件平台上重现三个基准模型（MNIST分类器、用于触觉识别的SRNN），验证了该方法。

Figure 1 : High-level overview of what NIR is. (a) NIR allows for continuous-time representation of nodes that can then be executed on continuous-time hardware or simulators, or discretized for use on discrete-time hardware or simulators. (b) A taxonomy of discrete and continuous time hardware and s

实验结果

研究问题

• RQ1 统一的中间表示能否弥合不同神经形态仿真器与硬件平台之间的语义与架构鸿沟？
• RQ2 连续时间、混合动力系统表示在异构实现中能否保持脉冲神经网络的本质计算行为？
• RQ3 NIR在多大程度上能解耦神经形态软件与硬件的开发，同时保持行为保真度？
• RQ4 NIR能否在离散时间与连续时间神经形态系统中实现一致的模型执行与可重现性？
• RQ5 与ONNX或MLIR等现有中间表示相比，NIR在建模连续时间神经形态动力学方面表现如何？

主要发现

• NIR成功实现了在7个仿真器和4个硬件平台上对三种不同神经形态模型（MNIST分类与脉冲递归网络）的可重现性，且行为结果一致。
• 实现结果在理想化的数学形式化与实际执行之间达到了完整的行为保真度，偏差被明确暴露并量化。
• 使用替代梯度和正则化（ℓ¹和ℓ²脉冲惩罚）获得最优超参数：μₗ₁=6×10⁻⁴, μₗ₂=4×10⁻⁶（零，偏置）以及μₗ₁=1×10⁻³, μₗ₂=1×10⁻⁶（减法，无偏置），实现高验证准确率。
• 使用Adam优化器（初始学习率=0.005或0.001）训练500个周期后实现稳定收敛，最佳模型基于验证准确率选取。
• NIR编译器栈成功将模型映射到离散时间与连续时间后端，展示了广泛的兼容性。
• 开源的NIR库与代码库已公开发布于 https://github.com/neuromorphs/nir，支持社区采用与扩展。

Figure 2 : a-d) shows four NIR primitives, where the name of the primitive is highlighted on top, the implemented computation is illustrated in the white box, and the parameters that are stored with the NIR graph are highlighted on the bottom. a) shows a stateful primitive, while b) and c) show stat