[论文解读] RESPARC: A Reconfigurable and Energy-Efficient Architecture with Memristive Crossbars for Deep Spiking Neural Networks

Aayush Ankit, Abhronil Sengupta+2 more|arXiv (Cornell University)|Feb 20, 2017

Advanced Memory and Neural Computing参考文献 19被引用 10

一句话总结

RESPARC 是一种可重构的、节能的神经形态架构，基于阻变存储器交叉阵列（MCAs）构建，用于加速深度脉冲神经网络（SNNs）。它利用事件驱动计算，在三个层级（mPE、NeuroCell、RESPARC 核心）实现分层可重构性，并通过技术感知的 MCA 尺寸优化，实现高达 500× 的能效增益和 300× 的吞吐量提升，优于数字 CMOS 基线。

ABSTRACT

Neuromorphic computing using post-CMOS technologies is gaining immense popularity due to its promising abilities to address the memory and power bottlenecks in von-Neumann computing systems. In this paper, we propose RESPARC - a reconfigurable and energy efficient architecture built-on Memristive Crossbar Arrays (MCA) for deep Spiking Neural Networks (SNNs). Prior works were primarily focused on device and circuit implementations of SNNs on crossbars. RESPARC advances this by proposing a complete system for SNN acceleration and its subsequent analysis. RESPARC utilizes the energy-efficiency of MCAs for inner-product computation and realizes a hierarchical reconfigurable design to incorporate the data-flow patterns in an SNN in a scalable fashion. We evaluate the proposed architecture on different SNNs ranging in complexity from 2k-230k neurons and 1.2M-5.5M synapses. Simulation results on these networks show that compared to the baseline digital CMOS architecture, RESPARC achieves 500X (15X) efficiency in energy benefits at 300X (60X) higher throughput for multi-layer perceptrons (deep convolutional networks). Furthermore, RESPARC is a technology-aware architecture that maps a given SNN topology to the most optimized MCA size for the given crossbar technology.

研究动机与目标

• 通过利用后 CMOS 神经形态架构，解决冯·诺依曼计算在深度学习中的内存与功耗瓶颈。
• 通过支持对多样化 SNN 拓扑结构的可重构映射，克服固定尺寸阻变存储器交叉阵列（MCA）的局限性。
• 将 SNN 的事件驱动特性与 MCA 中的存内计算相结合，以最大化能效。
• 设计一种可扩展、技术感知的架构，根据器件非理想性，将 SNN 最优映射到可用的 MCA 尺寸上。
• 在新兴 MCA 技术上，实现 MLP 和 CNN 变体 SNN 的高能效与高吞吐量。

提出的方法

• 提出三级可重构层次：宏处理单元（mPE）用于可变扇入神经元，NeuroCell 用于处理不同层间/层内连接性（MLP/CNN），RESPARC 核心用于多层 SNN。
• 使用阻变存储器交叉阵列（MCAs）实现存内内积计算，将突触权重直接存储在交叉点器件中，消除片外内存访问。
• 采用事件驱动数据流技术，利用脉冲流中的稀疏性，减少活跃计算和外围电路的能量开销。
• 引入技术感知映射：根据 SNN 拓扑结构和器件约束（如漏电流路径、工艺失配）动态选择最优 MCA 尺寸（如 32、64、128）。
• 应用阻变器件权重的位离散化（4 位精度），在准确性和能耗之间取得平衡，对 RESPARC 的能耗影响极小。
• 通过仿真评估，对比 RESPARC 与数字 CMOS 基线在含 2k–230k 个神经元和 120 万–550 万个突触的 SNN 上的表现。

实验结果

研究问题

• RQ1 如何在有限尺寸的阻变存储器交叉阵列上高效映射多样化的 SNN 拓扑结构（MLP、CNN），同时最小化能耗和面积开销？
• RQ2 在存在漏电流路径和非理想性等技术约束下，不同 SNN 架构（MLP 与 CNN）的最优 MCA 尺寸是什么？
• RQ3 当 SNN 的事件驱动处理与 MCA 中的存内计算结合时，能效提升程度如何？
• RQ4 与 CMOS 相比，阻变器件权重的位精度在 RESPARC 架构中如何影响准确性和能耗？
• RQ5 内存节省（通过 MCA 存储权重）和计算效率（通过存内内积计算）对整体能耗降低的相对贡献分别是什么？

主要发现

• 对于深度 MLP，RESPARC 相较于数字 CMOS 基线，能效最高提升 500×，吞吐量提升 300×。
• 对于 CNN，RESPARC 最高实现 15× 能效增益和 60× 吞吐量提升，其中 RESPARC-64 是最节能的配置。
• MLP 中的能耗节省主要源于 MCA 中存内权重存储带来的内存访问和漏电减少。
• CNN 中的能耗节省主要源于高效的存内内积计算，因为计算核心在 CMOS 中占主导能耗。
• 由于 1D 脉冲向量（如背景像素）的稀疏性更高，事件驱动处理在 MLP 中带来的能耗节省高于 CNN。
• RESPARC 的能耗几乎不随权重位精度变化（4–8 位），而 CMOS 的能耗随精度提高显著增加，因其需要更大的缓冲器和内存单元。