[论文解读] ThUnderVolt: Enabling Aggressive Voltage Underscaling and Timing Error Resilience for Energy Efficient Deep Neural Network Accelerators

Jeff Zhang, Kartheek Rangineni+2 more|arXiv (Cornell University)|Feb 11, 2018

Advanced Memory and Neural Computing参考文献 33被引用 15

一句话总结

ThUndervolt 通过一种新颖的定时错误恢复技术 TE-Drop，在 DNN 加速器中实现了激进的电压降频，该技术通过在后续周期中重新计算错误的 MAC 操作来避免性能损失。它在 <1% 准确率损失下实现了 34.36%–57.75% 的能效节省，并与运行时剪枝技术（如 Zero-Skip）协同工作，使基于基准 TPU 设计的能效降低最高达 89.49%。

ABSTRACT

Hardware accelerators are being increasingly deployed to boost the performance and energy efficiency of deep neural network (DNN) inference. In this paper we propose Thundervolt, a new framework that enables aggressive voltage underscaling of high-performance DNN accelerators without compromising classification accuracy even in the presence of high timing error rates. Using post-synthesis timing simulations of a DNN accelerator modeled on the Google TPU, we show that Thundervolt enables between 34%-57% energy savings on state-of-the-art speech and image recognition benchmarks with less than 1% loss in classification accuracy and no performance loss. Further, we show that Thundervolt is synergistic with and can further increase the energy efficiency of commonly used run-time DNN pruning techniques like Zero-Skip.

研究动机与目标

• 解决在大规模并行 DNN 加速器中应用电压降频时面临的高全局定时错误率挑战。
• 克服传统定时错误检测与恢复（TED）技术在大规模流水线阵列中带来的性能开销。
• 开发一种机制，实现在不牺牲分类准确率或性能的前提下进行激进的电压降频。
• 实现按层动态电压调节，以在 DNN 各层之间平衡定时错误率。
• 展示电压降频与运行时剪枝技术（如 Zero-Skip）之间的协同效应，以进一步提升能效。

提出的方法

• 提出 TE-Drop，一种新颖的定时错误恢复机制，通过 Razor 触发器检测错误，但避免重新执行，而是在下一周期重新计算错误的 MAC 操作，从而消除性能开销。
• 实现按层动态电压降频，根据各 DNN 层的独立定时错误率调整供电电压，以优化准确率和能效。
• 在 Google TPU 启发的流水线阵列架构上进行综合后时序仿真，以在真实工艺变化和时序角落下评估该框架。
• 将 ThUndervolt 与 Zero-Skip（一种运行时剪枝技术，可跳过输入为零的 MAC 操作）集成，以在非零操作上实现额外的能效节省。
• 通过 50 片芯片样本、5% 工艺变化下的统计分析与蒙特卡洛仿真，验证能效节省的鲁棒性与一致性。

实验结果

研究问题

• RQ1 是否可以在不造成显著准确率或性能损失的情况下，将激进的电压降频安全地应用于高性能 DNN 加速器？
• RQ2 在拥有数万个 MAC 单元的大规模流水线阵列加速器中，如何在无性能开销的情况下恢复定时错误？
• RQ3 与统一电压降频相比，按层动态电压调节是否能在 DNN 各层之间更有效地平衡错误率并提升能效？
• RQ4 ThUndervolt 与现有运行时剪枝技术（如 Zero-Skip）之间的协同效应在多大程度上可进一步降低能耗？
• RQ5 在结合电压降频与错误容错机制时，DNN 加速器中可实现的最大能效节省是多少，且准确率损失可忽略不计？

主要发现

• ThUndervolt 在基于 TPU 类似架构的综合后时序仿真中，于最先进的图像与语音识别基准上实现了 34.36% 至 57.75% 的能效节省。
• TE-Drop 机制可在每个 MAC 单元的定时错误率超过 10% 的情况下保持稳定运行，且无准确率下降，表明其对高错误率具有强鲁棒性。
• 按层动态电压调节方案显著优于统一降频，通过在各层之间平衡错误率，显著提升了能效。
• ThUndervolt 与 Zero-Skip 具有协同效应：在 Zero-Skip 基础上应用 ThUndervolt，能效节省可达 73.27% 至 89.49%，且无性能损失，<1% 准确率损失。
• 即使在 50 片芯片样本、5% 工艺变化下，平均能效节省仍保持一致，表明对工艺变化具有强鲁棒性。
• 该框架使激进的电压降频成为可能，超越了传统 TED 或 TEP 技术的可行性边界，尤其适用于高吞吐量、高度并行的 DNN 加速器。