[论文解读] REQ-YOLO: A Resource-Aware, Efficient Quantization Framework for Object Detection on FPGAs

Caiwen Ding, Shuo Wang+4 more|arXiv (Cornell University)|Sep 29, 2019

Advanced Neural Network Applications参考文献 50被引用 15

一句话总结

REQ-YOLO 提出了一种面向 FPGA 上 YOLO 基础目标检测的资源感知异构权重量化框架，利用块循环矩阵与 ADMM 优化，实现高效、低精度推理。其性能较等距量化提升 1.5×，能效比提升 1.6×，且精度损失极小；与 Jetson TX2 上的 GPU 基准相比，能效比提升 9.4×。

ABSTRACT

Deep neural networks (DNNs), as the basis of object detection, will play a key role in the development of future autonomous systems with full autonomy. The autonomous systems have special requirements of real-time, energy-efficient implementations of DNNs on a power-constrained system. Two research thrusts are dedicated to performance and energy efficiency enhancement of the inference phase of DNNs. The first one is model compression techniques while the second is efficient hardware implementation. Recent works on extremely-low-bit CNNs such as the binary neural network (BNN) and XNOR-Net replace the traditional floating-point operations with binary bit operations which significantly reduces the memory bandwidth and storage requirement. However, it suffers from non-negligible accuracy loss and underutilized digital signal processing (DSP) blocks of FPGAs. To overcome these limitations, this paper proposes REQ-YOLO, a resource-aware, systematic weight quantization framework for object detection, considering both algorithm and hardware resource aspects in object detection. We adopt the block-circulant matrix method and propose a heterogeneous weight quantization using the Alternating Direction Method of Multipliers (ADMM), an effective optimization technique for general, non-convex optimization problems. To achieve real-time, highly-efficient implementations on FPGA, we present the detailed hardware implementation of block circulant matrices on CONV layers and develop an efficient processing element (PE) structure supporting the heterogeneous weight quantization, CONV dataflow and pipelining techniques, design optimization, and a template-based automatic synthesis framework to optimally exploit hardware resource. Experimental results show that our proposed REQ-YOLO framework can significantly compress the YOLO model while introducing very small accuracy degradation.

研究动机与目标

• 解决在功耗受限的 FPGA 上部署实时、高效能目标检测以支持自主系统的需求。
• 克服现有低比特量化方法的局限性，如精度下降以及 FPGA 中 DSP 模块利用率不足的问题。
• 开发一种系统化框架，联合优化算法量化与硬件资源利用，以实现 FPGA 部署。
• 通过高效的权重表示与硬件感知设计，实现压缩 DNN 模型的片上存储。
• 在保持模型精度的同时，实现高性能与高能效的目标检测推理。

提出的方法

• 采用块循环矩阵表示法，规范化权重存储与计算，提升硬件并行性并减少不规则性。
• 引入基于 ADMM 与 FFT/IFFT 的异构权重量化，以优化非凸量化问题，实现混合精度量化。
• 设计专用处理单元（PE）架构，支持等距与异构量化、卷积数据流处理及流水线操作。
• 实现基于模板的自动综合框架，以优化硬件资源利用并缩短设计周期。
• 应用设计优化，聚焦于减少内存访问次数，降低 PE 尺寸与数量，从而提升能效比。
• 将算法量化与 FPGA 特定硬件映射相结合，充分挖掘 DSP 与 LUT 资源的潜力。

实验结果

研究问题

• RQ1 如何使权重量化在算法有效性与硬件感知之间取得平衡，以在 FPGA 上最大化性能与能效？
• RQ2 相较于均匀量化，基于 ADMM 与块循环矩阵的异构量化是否能减少精度损失并提升 FPGA 资源利用率？
• RQ3 在能效比与实时性能方面，基于 FPGA 的 YOLO 实现相比 GPU 实现可提升多少？
• RQ4 所提出的框架如何通过高效的权重表示与硬件映射，实现压缩模型的片上存储？
• RQ5 混合精度量化与优化后的 PE 设计对 FPGA 上目标检测的延迟、吞吐量与能效比有何影响？

主要发现

• REQ-YOLO 在 FPGA 上相较等距量化实现 1.5× 更高吞吐量与 1.6× 更优能效比。
• 该框架显著减小了模型尺寸，同时仅引入极小的精度损失，保持了高水平的检测性能。
• FPGA-YOLO1 在性能上优于当前最先进的 FPGA 目标检测器至少 10×，尽管其使用的 FPGA 略为低功耗。
• 与 Titan X 上的 GPU 基准相比，FPGA 实现的 FPGA-YOLO0 和 FPGA-YOLO1 分别实现 5.7× 和 9.4× 更优的每瓦性能（能效比）。
• 与 Jetson TX2 上的 GPU 实现相比，该框架实现 3.5× 和 5.8× 更高的能效比，同时速度快 7.3×，且功耗最多仅增加 2.1×。
• 基于模板的综合框架实现了高效、自动化的硬件生成，优化了资源利用并降低了设计开销。