[论文解读] Special Session: Reliability Analysis for ML/AI Hardware

Shamik Kundu, Kanad Basu+5 more|arXiv (Cornell University)|Mar 22, 2021

Advanced Memory and Neural Computing参考文献 79被引用 4

一句话总结

本文研究了机器学习/人工智能硬件中的可靠性挑战，重点关注深度神经网络（DNN）加速器中的DRAM故障以及神经形态系统中的电路老化与耐久性问题。提出两种系统级缓解技术——RENEU通过优化神经元与突触布局以减少脉冲神经网络中的电路老化，eSpine通过智能工作负载映射提升相变存储器（PCM）的耐久性，使神经形态硬件的平均老化降低38%，并显著延长使用寿命。

ABSTRACT

Artificial intelligence (AI) and Machine Learning (ML) are becoming pervasive in today's applications, such as autonomous vehicles, healthcare, aerospace, cybersecurity, and many critical applications. Ensuring the reliability and robustness of the underlying AI/ML hardware becomes our paramount importance. In this paper, we explore and evaluate the reliability of different AI/ML hardware. The first section outlines the reliability issues in a commercial systolic array-based ML accelerator in the presence of faults engendering from device-level non-idealities in the DRAM. Next, we quantified the impact of circuit-level faults in the MSB and LSB logic cones of the Multiply and Accumulate (MAC) block of the AI accelerator on the AI/ML accuracy. Finally, we present two key reliability issues -- circuit aging and endurance in emerging neuromorphic hardware platforms and present our system-level approach to mitigate them.

研究动机与目标

• 分析由于器件级非理想特性及可变保持时间导致的DRAM位级故障对DNN加速器精度的影响。
• 评估DNN加速器中乘加（MAC）单元在最高有效位（MSB）与最低有效位（LSB）逻辑锥区域的电路故障敏感度，识别关键故障区域。
• 针对基于PCM交叉阵列的新兴神经形态硬件中的电路老化与耐久性限制，提出解决方案。
• 开发系统级技术，通过协同优化工作负载映射与硬件可靠性约束，以提升硬件的长期稳定性和精度。

提出的方法

• 在DNN加速器的DRAM存储子系统中注入位级故障，以表征多种量化DNN模型下的精度退化情况。
• 对多变量数据集进行详尽的故障表征，评估DRAM保持时间与刷新率对推理精度的影响。
• 通过隔离MSB与LSB逻辑锥区域，分析MAC电路故障，确定可接受精度退化阈值下的故障容忍度。
• 提出RENEU，一种系统级映射技术，通过基于老化模型优化神经元与突触布局，最小化神经形态硬件中的电路老化。
• 开发eSpine，一种两步框架，结合Kernighan-Lin图划分与粒子群优化（PSO），将工作负载映射至具有可变耐久性的PCM交叉阵列。
• 集成PCM交叉阵列中寄生电压降与自加热效应的技术感知模型，以指导布局决策，提升耐久性。

实验结果

研究问题

• RQ1 由可变保持时间引起的DRAM位翻转故障，如何影响边缘加速器中量化DNN的推理精度？
• RQ2 MAC单元对MSB与LSB逻辑锥区域的电路级故障敏感度如何？在不超出精度退化阈值的前提下，可容忍的故障率是多少？
• RQ3 PCM交叉阵列中由于寄生电压降导致的自加热不对称性，如何影响神经形态硬件中突触权重的耐久性？
• RQ4 系统级工作负载映射技术能否降低电路老化，并延长基于PCM的神经形态加速器的有效使用寿命？

主要发现

• 在高刷新间隔下，DRAM故障会导致DNN加速器出现显著的分类精度退化，即使错误率较低，也因关键内存区域发生位翻转而产生严重影响。
• MAC单元中MSB逻辑锥区域的电路故障对DNN精度具有不成比例的显著影响，使其成为可靠性加固的关键目标区域。
• LSB逻辑锥区域的故障更具容忍性，但仅限于特定应用阈值；超过该阈值后，精度将退化至不可接受水平。
• 与PyCARL相比，RENEU通过基于老化模型优化神经元与突触布局，平均将神经形态硬件中的电路老化降低38%。
• eSpine通过将高激活突触映射至高耐久性PCM单元，显著提升了基于PCM的神经形态硬件的有效使用寿命，降低了老化相关的故障率。
• PCM交叉阵列中的寄生电压降导致显著的自加热不对称性，使阵列中各单元的耐久性差异极大，从10⁶到10¹⁰次循环不等，其中高电流路径上的单元老化最快。