[论文解读] RNNAccel: A Fusion Recurrent Neural Network Accelerator for Edge Intelligence

Chao-Yang Kao, Huang-Chih Kuo+4 more|arXiv (Cornell University)|Oct 26, 2020

Ferroelectric and Negative Capacitance Devices参考文献 5被引用 7

一句话总结

RNNAccel 是一种可配置的 RNN 加速器，集成 32 个 MAC 阵列与 NeuCompression 引擎，以解决边缘人工智能中的内存带宽、能效和精度损失问题。其在 40nm 工艺下实现 90% 的 MAC 利用率、1.27 TOPs/W 的能效，支持 8 倍模型压缩，在关键词检测任务中实现 90% 的推理精度，并通过位精确仿真实现与 SoC 的无缝集成。

ABSTRACT

Many edge devices employ Recurrent Neural Networks (RNN) to enhance their product intelligence. However, the increasing computation complexity poses challenges for performance, energy efficiency and product development time. In this paper, we present an RNN deep learning accelerator, called RNNAccel, which supports Long Short-Term Memory (LSTM) network, Gated Recurrent Unit (GRU) network, and Fully Connected Layer (FC)/ Multiple-Perceptron Layer (MLP) networks. This RNN accelerator addresses (1) computing unit utilization bottleneck caused by RNN data dependency, (2) inflexible design for specific applications, (3) energy consumption dominated by memory access, (4) accuracy loss due to coefficient compression, and (5) unpredictable performance resulting from processor-accelerator integration. Our proposed RNN accelerator consists of a configurable 32-MAC array and a coefficient decompression engine. The MAC array can be scaled-up to meet throughput requirement and power budget. Its sophisticated off-line compression and simple hardware-friendly on-line decompression, called NeuCompression, reduces memory footprint up to 16x and decreases memory access power. Furthermore, for easy SOC integration, we developed a tool set for bit-accurate simulation and integration result validation. Evaluated using a keyword spotting application, the 32-MAC RNN accelerator achieves 90% MAC utilization, 1.27 TOPs/W at 40nm process, 8x compression ratio, and 90% inference accuracy.

研究动机与目标

• 解决边缘设备中由于 RNN 数据依赖性导致的计算单元利用率低下问题。
• 降低 RNN 推理工作负载中主导的内存访问能耗。
• 最小化因模型系数量化与压缩导致的精度损失。
• 为多样化边缘 AI 工作负载提供灵活、与应用无关的 RNN 加速能力。
• 通过位精确仿真工具确保性能可预测且与 SoC 集成无缝。

提出的方法

• 设计可配置的 32-MAC 阵列，可根据吞吐量和功耗需求进行扩展。
• 实现 NeuCompression——一种硬件友好、在线解压技术，支持高达 16 倍的模型压缩，且面积开销极小。
• 集成系数解压引擎，以减少存储占用和片外内存访问能耗。
• 采用离线模型压缩与在线解压相结合的方式，在最小化存储与带宽的同时保持模型精度。
• 开发工具集，用于对与片上系统（SoC）平台的集成结果进行位精确仿真与验证。
• 支持多种 RNN 变体：LSTM、GRU、全连接（FC）和多层感知机（MLP）层，实现边缘 AI 中的广泛应用。

实验结果

研究问题

• RQ1 RNN 加速器如何在固有的数据依赖性下实现高 MAC 利用率？
• RQ2 模型压缩在不牺牲推理精度的前提下，能在多大程度上减少内存占用和访问能耗？
• RQ3 统一的加速器设计如何高效支持多种 RNN 架构（如 LSTM、GRU、FC/MLP）？
• RQ4 硬件友好的压缩与解压技术对能效和面积开销有何影响？
• RQ5 如何使加速器与处理器的集成在 SoC 部署中实现可预测且无缝？

主要发现

• 32-MAC 的 RNNAccel 实现 90% 的 MAC 利用率，显著优于传统设计的计算效率。
• 该加速器在 40nm 工艺下实现 1.27 TOPs/W 的能效，展现出卓越的每瓦性能。
• NeuCompression 支持高达 16 倍的模型压缩，在实际应用中将内存占用和访问能耗降低 8 倍。
• 系统在关键词检测任务中保持 90% 的推理精度，验证了压缩带来的精度损失极小。
• 位精确仿真与集成工具集确保了 SoC 部署的可预测性与可靠性。
• 该设计支持多种 RNN 类型（LSTM、GRU、FC、MLP），适用于广泛的边缘智能工作负载。