[论文解读] RxNN: A Framework for Evaluating Deep Neural Networks on Resistive Crossbars

Shubham Jain, Abhronil Sengupta+2 more|arXiv (Cornell University)|Aug 31, 2018

Advanced Memory and Neural Computing被引用 4

一句话总结

RxNN 是一种快速且精确的仿真框架，通过在快速交叉棒模型（FCM）中建模器件和电路非理想性，对基于电阻性交叉棒硬件的大规模深度神经网络（DNN）进行评估。它支持应用级精度评估与再训练，揭示了非理想性导致高达32%的精度下降，并通过再训练实现了高达26%的精度提升。

ABSTRACT

Resistive crossbars designed with non-volatile memory devices have emerged as promising building blocks for Deep Neural Network (DNN) hardware, due to their ability to compactly and efficiently realize vector-matrix multiplication (VMM), the dominant computational kernel in DNNs. However, a key challenge with resistive crossbars is that they suffer from a range of device and circuit level non-idealities such as interconnect parasitics, peripheral circuits, sneak paths, and process variations. These non-idealities can lead to errors in VMMs, eventually degrading the DNN's accuracy. It is therefore critical to study the impact of crossbar non-idealities on the accuracy of large-scale DNNs. However, this is challenging because existing device and circuit models are too slow to use in application-level evaluations. We present RxNN, a fast and accurate simulation framework to evaluate large-scale DNNs on resistive crossbar systems. RxNN splits and maps the computations involved in each DNN layer into crossbar operations, and evaluates them using a Fast Crossbar Model (FCM) that accurately captures the errors arising due to crossbar non-idealities while being four-to-five orders of magnitude faster than circuit simulation. FCM models a crossbar-based VMM operation using three stages - non-linear models for the input and output peripheral circuits (DACs and ADCs), and an equivalent non-ideal conductance matrix for the core crossbar array. We implement RxNN by extending the Caffe machine learning framework and use it to evaluate a suite of six large-scale DNNs developed for the ImageNet Challenge. Our experiments reveal that resistive crossbar non-idealities can lead to significant accuracy degradations (9.6%-32%) for these large-scale DNNs. To the best of our knowledge, this work is the first quantitative evaluation of the accuracy of large-scale DNNs on resistive crossbar based hardware.

研究动机与目标

• 解决缺乏可扩展、高精度仿真框架以评估基于电阻性交叉棒硬件的大规模 DNN 的问题。
• 量化器件和电路非理想性（如偷渡路径、非线性特性及工艺失配）在实际应用中对 DNN 精度的影响。
• 实现模型在回路中的再训练，以缓解由交叉棒非理想性引起的精度下降。
• 为大规模交叉棒基 DNN 评估提供一种快速且准确的替代 SPICE 级仿真方案。
• 为设计面向大规模 DNN 推理与训练的能效高、可靠的电阻性交叉棒系统奠定基础。

提出的方法

• RxNN 扩展了 Caffe 深度学习框架，集成交叉棒感知的推理与训练流水线。
• 它将 DNN 层分解为交叉棒操作，并利用快速交叉棒模型（FCM）将这些操作映射到电阻性交叉棒硬件上。
• FCM 将向量-矩阵乘法分为三个阶段：非线性输入（DAC）、非理想电导矩阵（交叉棒核心）和非线性输出（ADC）。
• FCM 捕获了由驱动电阻、传感电阻、偷渡路径、互连寄生参数以及随机写入引起的输入相关误差。
• FCM 在保持高精度预测 DNN 推理误差的同时，相比 SPICE 仿真实现了 4–5 个数量级的速度提升。
• RxNN 支持大规模 DNN（如 ImageNet 模型）的端到端评估，并支持使用交叉棒感知损失函数进行迭代再训练。

实验结果

研究问题

• RQ1 电阻性交叉棒中的器件与电路非理想性在多大程度上降低了大规模 DNN 的推理精度？
• RQ2 非线性、偷渡路径和工艺失配等非理想性如何影响不同网络深度与架构下的 DNN 精度？
• RQ3 像 RxNN 这类快速且精确的仿真框架能否有效支持再训练，以恢复因交叉棒非理想性导致的精度损失？
• RQ4 当映射到电阻性交叉棒时，不同 DNN 架构（如 AlexNet、VGG-16、ResNet-50）的精度下降程度如何变化？
• RQ5 在基于电阻性交叉棒的 DNN 加速器中，系统能效与应用级精度之间存在何种权衡？

主要发现

• 电阻性交叉棒的非理想性在大规模 DNN 中引致显著的精度下降，六种 ImageNet 模型的精度损失范围为 9.6% 至 32%。
• 最大的精度下降发生在理想 6 位交叉棒设计与非理想实现之间，表明非理想性——而不仅仅是有限精度——对性能有显著影响。
• 使用 RxNN 对 DNN 进行再训练后，仅 150 次迭代内即可恢复 GoogleNet 中高达 26% 的精度损失、VGG-16 中 8% 的损失以及 AlexNet 中 9% 的损失。
• 深层网络（如 Conv3）因非理想性累积而表现出更明显的特征失真，证实精度下降随网络深度增加而加剧。
• 快速交叉棒模型（FCM）相比 SPICE 仿真实现了 4–5 个数量级的速度提升，同时准确建模了输入与权重相关的误差。
• 本研究首次实现了对大规模 DNN 在电阻性交叉棒系统上的定量、应用级评估，揭示了实际部署中的关键挑战。