[论文解读] Why is FPGA-GPU Heterogeneity the Best Option for Embedded Deep Neural Networks?

Walther Carballo-Hernández, Maxime Pelcat+1 more|arXiv (Cornell University)|Feb 2, 2021

Advanced Neural Network Applications参考文献 18被引用 7

一句话总结

本文提出了一种用于嵌入式深度神经网络的异构FPGA-GPU加速框架，通过在FPGA上直接映射硬件以实现能效更高的推理，并将复杂层卸载到GPU。在SqueezeNet、MobileNetV2和ShuffleNetv2上评估，该混合方法相比仅使用GPU的加速方案，即使考虑通信开销，仍实现了12–30%的能效降低和4–26%的延迟降低。

ABSTRACT

Graphics Processing Units (GPUs) are currently the dominating programmable architecture for Deep Learning (DL) accelerators. The adoption of Field Programmable Gate Arrays (FPGAs) in DL accelerators is however getting momentum. In this paper, we demonstrate that Direct Hardware Mapping (DHM) of a Convolutional Neural Network (CNN) on an embedded FPGA substantially outperforms a GPU implementation in terms of energy efficiency and execution time. However, DHM is highly resource intensive and cannot fully substitute the GPU when implementing a state-of-the-art CNN. We thus propose a hybrid FPGA-GPU DL acceleration method and demonstrate that heterogeneous acceleration outperforms GPU acceleration even including communication overheads. Experimental results are conducted on a heterogeneous multi-platform setup embedding an Nvidia(R) Jetson TX2 CPU-GPU board and an Intel(R) Cyclone10GX FPGA board. The SqueezeNet, MobileNetv2, and ShuffleNetv2 mobile-oriented CNNs are experimented. We show that heterogeneous FPG-AGPU acceleration outperforms GPU acceleration for classification inference task over MobileNetv2 (12%-30% energy reduction, 4% to 26% latency reduction), SqueezeNet (21%-28% energy reduction, same latency), and ShuffleNetv2 (25% energy reduction, 21% latency reduction).

研究动机与目标

• 应对在功耗和面积预算受限的嵌入式深度神经网络（DNN）中日益增长的能效推理需求。
• 克服仅使用GPU加速的局限性，尽管其性能强大，但在移动和嵌入式系统中并非最优能效方案。
• 探索结合FPGA和GPU以实现嵌入式DNN工作负载中更优性能与效率的可行性与优势。
• 证明尽管存在通信开销，混合FPGA-GPU加速在真实嵌入式平台中仍优于仅使用GPU的加速方案。
• 在多款最先进的面向移动设备的CNN上，评估FPGA上直接硬件映射（DHM）与GPU加速之间的权衡。

提出的方法

• 在Intel Cyclone10GX FPGA上实现卷积层的直接硬件映射（DHM），以最大化能效并最小化延迟。
• 将复杂或优化程度较低的层（例如深度可分离卷积）卸载到NVIDIA Jetson TX2平台上的GPU。
• 设计一种异构执行流水线，根据计算复杂度和资源可用性，动态地在FPGA和GPU之间划分DNN模型。
• 通过高效的内存访问模式和低延迟通信协议，优化FPGA与GPU之间的数据传输，以最小化开销。
• 采用多平台设置，包括Jetson TX2（CPU-GPU）和Cyclone10GX FPGA，以评估真实环境下的性能与能耗。
• 在相同工作负载下，对三种面向移动设备的CNN（SqueezeNet、MobileNetV2和ShuffleNetv2）进行推理性能基准测试。

实验结果

研究问题

• RQ1 在嵌入式DNN推理中，FPGA上的直接硬件映射（DHM）是否能在能效和延迟方面优于仅使用GPU的加速？
• RQ2 在异构嵌入式系统中，结合FPGA和GPU加速时，性能与能效之间的权衡如何？
• RQ3 FPGA与GPU之间的通信开销如何影响混合DNN推理系统的整体效率？
• RQ4 FPGA-GPU异构性在多种面向移动的CNN架构中，能在多大程度上提升推理性能？
• RQ5 在考虑系统级开销的情况下，混合FPGA-GPU方法是否能保持或超过仅使用GPU加速的性能？

主要发现

• 与仅使用GPU的推理相比，FPGA-GPU异构加速在MobileNetV2上将能耗降低了12–30%。
• 即使考虑处理器间通信开销，该混合方法在MobileNetV2上的延迟仍降低了4–26%。
• 对于SqueezeNet，FPGA-GPU系统在与仅使用GPU基线相同的延迟下，实现了21–28%的能耗降低。
• 与仅使用GPU执行相比，ShuffleNetv2在使用异构加速器时，能耗降低了25%，延迟降低了21%。
• 性能提升在多款面向移动设备的CNN中保持一致，证明了FPGA-GPU混合方法的通用性。
• 结果表明，即使包含通信成本，异构加速仍优于仅使用GPU的加速，证明了FPGA-GPU协同设计在嵌入式系统中的可行性。