[论文解读] Thales: Formulating and Estimating Architectural Vulnerability Factors for DNN Accelerators

Abhishek Tyagi, Yiming Gan+4 more|arXiv (Cornell University)|Dec 5, 2022

Radiation Effects in Electronics被引用 6

一句话总结

本文提出了一种新度量指标——弹性准确率（Resiliency Accuracy, RA），用于量化深度神经网络（DNN）在瞬态硬件故障下的推理准确率，解决了以往方法中假设DNN变量故障概率均等的根本缺陷。通过建立变量特异性故障概率模型，并采用重要性采样实现高效的蒙特卡洛估计，作者发现瞬态故障导致的准确率下降远超以往估计，从而为设计更具弹性的DNN加速器提供了依据。

ABSTRACT

As Deep Neural Networks (DNNs) are increasingly deployed in safety critical and privacy sensitive applications such as autonomous driving and biometric authentication, it is critical to understand the fault-tolerance nature of DNNs. Prior work primarily focuses on metrics such as Failures In Time (FIT) rate and the Silent Data Corruption (SDC) rate, which quantify how often a device fails. Instead, this paper focuses on quantifying the DNN accuracy given that a transient error has occurred, which tells us how well a network behaves when a transient error occurs. We call this metric Resiliency Accuracy (RA). We show that existing RA formulation is fundamentally inaccurate, because it incorrectly assumes that software variables (model weights/activations) have equal faulty probability under hardware transient faults. We present an algorithm that captures the faulty probabilities of DNN variables under transient faults and, thus, provides correct RA estimations validated by hardware. To accelerate RA estimation, we reformulate RA calculation as a Monte Carlo integration problem, and solve it using importance sampling driven by DNN specific heuristics. Using our lightweight RA estimation method, we show that transient faults lead to far greater accuracy degradation than what todays DNN resiliency tools estimate. We show how our RA estimation tool can help design more resilient DNNs by integrating it with a Network Architecture Search framework.

研究动机与目标

• 解决现有DNN弹性度量指标在假设模型权重与激活值故障概率均等条件下的不准确性问题。
• 提出一种新的度量指标——弹性准确率（RA），作为反映DNN在瞬态故障下准确率退化情况的特定于DNN的架构脆弱性因子（Architectural Vulnerability Factor, AVF）。
• 开发一种高效的RA估计方法，通过结合DNN特异性启发式方法的重要性采样，降低采样方差并加速收敛。
• 通过与神经架构搜索（Neural Architecture Search, NAS）的集成，展示RA估计对设计更具弹性DNN的影响。
• 通过大规模RTL故障仿真和真实硬件实验，验证所提出的RA公式化与估计方法。

提出的方法

• 将RA定义为加权平均推理准确率，权重为每个DNN变量（权重/激活值）受瞬态故障影响的概率，从而捕捉变量特异性故障概率。
• 利用规则的数据重用模式，将DNN软件变量映射到硬件中的触发器（flip-flops, FFs），以推导加速器中各位置的故障概率。
• 将RA估计问题重新表述为蒙特卡洛积分问题，以支持基于统计采样的估计方法。
• 提出一种基于DNN特异性启发式方法（如MAC操作次数、层敏感度等）的重要性采样策略，以逼近最优采样分布并减少方差。
• 实现一个轻量级的RA估计流水线，在避免昂贵RTL仿真同时保持高精度。
• 将RA估计集成至NAS框架中，以指导搜索具有更高故障弹性的DNN架构。

实验结果

研究问题

• RQ1 对DNN变量假设故障概率均等，为何会导致弹性准确率（RA）估计不准确？
• RQ2 在DNN加速器中，如何正确公式化RA以考虑变量特异性故障概率？
• RQ3 如何在最小化采样数量的同时，高效且准确地估计RA？
• RQ4 与以往估计相比，瞬态故障对DNN推理准确率的退化程度有多大？
• RQ5 基于RA引导的NAS能否生成对瞬态硬件故障更具弹性的DNN？

主要发现

• 所提出的RA公式正确建模了变量特异性故障概率，揭示了基于均匀采样的以往方法显著低估了瞬态故障的真实影响。
• 采用DNN特异性启发式的重要性采样相比均匀采样，将所需样本数减少了数个数量级，显著加速了RA估计过程。
• 经硬件验证的仿真结果表明，瞬态故障导致的准确率退化远超现有工具的估计值，RA下降幅度远大于以往报告。
• 选择性加固控制路径触发器（flip-flops）可带来RA的最大提升，表明其在故障弹性中的关键作用。
• 将RA集成至NAS后，每轮迭代所需评估次数减少，最终网络的故障弹性得到提升，且使用重要性采样时NAS耗时仅增加25.5%。
• RA估计框架与大规模RTL故障仿真（超过26亿次故障注入）结果高度相关，验证了其准确性和实用性。