[论文解读] QuTiBench: Benchmarking Neural Networks on Heterogeneous Hardware

Michaela Blott, Lisa Halder+2 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Neural Network Applications参考文献 51被引用 5

一句话总结

QuTiBench 是一个新颖的多层基准测试套件，旨在评估异构硬件平台上神经网络的性能，支持量化等算法优化，并实现对准确性、延迟和能效的系统级比较。它提供了一个可扩展的软硬件协同设计框架，可揭示嵌入式和边缘环境中 FPGA、GPU 和 CPU 的性能瓶颈与权衡。

ABSTRACT

Neural Networks have become one of the most successful universal machine learning algorithms. They play a key role in enabling machine vision and speech recognition for example. Their computational complexity is enormous and comes along with equally challenging memory requirements, which limits deployment in particular within energy constrained, embedded environments. In order to address these implementation challenges, a broad spectrum of new customized and heterogeneous hardware architectures have emerged, often accompanied with co-designed algorithms to extract maximum benefit out of the hardware. Furthermore, numerous optimization techniques are being explored for neural networks to reduce compute and memory requirements while maintaining accuracy. This results in an abundance of algorithmic and architectural choices, some of which fit specific use cases better than others. For system level designers, there is currently no good way to compare the variety of hardware, algorithm and optimization options. While there are many benchmarking efforts in this field, they cover only subsections of the embedded design space. None of the existing benchmarks support essential algorithmic optimizations such as quantization, an important technique to stay on chip, or specialized heterogeneous hardware architectures. We propose a novel benchmark suite, QuTiBench, that addresses this need. QuTiBench is a novel multi-tiered benchmarking methodology that supports algorithmic optimizations such as quantization and helps system developers understand the benefits and limitations of these novel compute architectures in regard to specific neural networks and will help drive future innovation. We invite the community to contribute to QuTiBench in order to support the full spectrum of choices in implementing machine learning systems.

研究动机与目标

• 为解决现有基准测试中缺乏对嵌入式系统中神经网络在异构硬件平台与算法优化（如量化）进行综合评估的问题。
• 为系统设计者提供一种标准化的多层基准测试方法，支持在不同硬件与软件配置下进行公平、可复现的比较。
• 通过在不同抽象层次上分析神经网络工作负载，揭示性能瓶颈（如计算、内存访问或数据移动）所在。
• 通过将硬件特性与最终应用的性能和准确性关联，支持算法与加速器的协同设计。
• 通过邀请社区贡献，构建一个可扩展、可扩展的基准测试套件，覆盖嵌入式环境中 FPGA、GPU、CPU 和 DPU，推动社区驱动的创新。

提出的方法

• QuTiBench 采用多层基准测试方法（Ti），涵盖理论分析、算法优化和系统级性能评估。
• 支持量化等算法优化，可评估低精度表示（如三值、二值）在保持模型准确性的同时的性能表现。
• 在多种硬件平台（包括 FPGA（ZCU104）、GPU（NVIDIA TX2）和 CPU）上评估神经网络，涵盖多个性能指标。
• 系统级性能测量包括数据移动开销、计算时间、延迟、功耗和吞吐量（GOP/s、TOP/s）。
• 框架使用帕累托曲线可视化不同硬件和模型配置下准确性、延迟与能效之间的权衡。
• 与现有工作（如 MLPerf）集成，并通过受 deep500.org 启发的基础设施，支持自动化测试与可复现性。

实验结果

研究问题

• RQ1 在运行量化和全精度神经网络时，不同硬件平台（FPGA、GPU、CPU）在延迟、吞吐量和能效方面如何比较？
• RQ2 量化等算法优化在不牺牲准确性的情况下，能在多大程度上提升异构加速器上的性能并减少资源使用？
• RQ3 神经网络推理流水线中的性能瓶颈位于何处——是计算单元、内存带宽，还是组件间的数据移动？
• RQ4 多层基准测试方法能否有效捕捉不同硬件和算法配置下准确性、延迟与能效之间的权衡？
• RQ5 基准测试框架如何扩展以支持嵌入式和边缘计算环境中新兴的加速器（如 DPU 和可重构 FPGA）？

主要发现

• GPU 平台的功耗效率高于 FPGA，归因于更优的硬件优化，其空闲功耗为 5W（TX2）对比 FPGA（ZCU104）的 19.9W。
• GPU 延迟在批量大小变化下为 8ms 至 1838.5ms，而 FPGA 延迟在 9.65ms 至 65ms 之间，表明 FPGA 上具有更强的性能一致性。
• 量化在最小化精度损失的前提下显著降低了硬件成本，与先前研究（Blott et al., 2017）一致，验证了其在嵌入式部署中的重要性。
• 基准测试显示，数据移动开销是系统级延迟的持续组成部分，提示优化策略应考虑片上数据流。
• 帕累托曲线有效可视化了准确性与性能之间的权衡，使不同网络拓扑和硬件平台之间的比较更加清晰。
• 多层方法成功识别出瓶颈，如循环层或全连接层，并凸显了内存访问在系统性能中的关键作用。