[论文解读] Ultra Low-latency, Low-area Inference Accelerators using Heterogeneous Deep Quantization with QKeras and hls4ml

Claudionor N. Coelho, Aki Kuusela+6 more|arXiv (Cornell University)|Jun 15, 2020

Particle Detector Development and Performance参考文献 5被引用 20

一句话总结

本文提出 QKeras，一个 Keras 扩展，支持具有量化感知训练的异构量化深度神经网络，并与 hls4ml 集成以实现 FPGA 的自动化部署。该方法实现了极低延迟推理（亚微秒级），且面积和能耗极低，已在 CERN 的高能物理事件触发任务中得到验证。

ABSTRACT

In this paper, we introduce the QKeras library, an extension of the Keras library allowing for the creation of heterogeneously quantized versions of deep neural network models, through drop-in replacement of Keras layers. These models are trained quantization-aware, where the user can trade off model area or energy consumption by accuracy. We demonstrate how the reduction of numerical precision, through quantization-aware training, significantly reduces resource consumption while retaining high accuracy when implemented on FPGA hardware. Together with the hls4ml library, this allows for a fully automated deployment of quantized Keras models on chip, crucial for ultra low-latency inference. As a benchmark problem, we consider a classification task for the triggering of events in proton-proton collisions at the CERN Large Hadron Collider, where a latency of ${\mathcal O}(1)~\mu$s is required.

研究动机与目标

• 解决在资源受限硬件上部署低延迟、高能效深度神经网络以满足实时应用挑战。
• 通过异构量化实现模型精度、面积和能耗之间的细粒度权衡。
• 开发一个完全自动化的流水线，将量化后的 Keras 模型部署到 FPGA 上，使用 hls4ml。
• 实现亚微秒级的推理延迟，以满足如 CERN 的粒子物理触发等实时系统的需求。
• 证明在 FPGA 上实现高精度、低资源消耗的 DNN 推理在超低延迟工作负载中的可行性。

提出的方法

• 扩展 Keras 以支持 QKeras，允许将标准层无缝替换为量化等效层，实现异构量化。
• 应用量化感知训练，在模型优化过程中模拟量化效应，从而在低精度约束下保持精度。
• 使用 hls4ml 将量化后的 Keras 模型自动转换为用于 FPGA 实现的高层次综合代码。
• 支持层间混合精度，允许每层使用不同的数值格式（例如 4 位、8 位），以优化面积和延迟。
• 实现从模型训练到 FPGA 位流生成的端到端流水线，用户干预极少。
• 优化硬件映射，以最小化延迟和资源使用，同时保持模型精度。

实验结果

研究问题

• RQ1 通过 QKeras 实现的异构量化结合量化感知训练，是否能在不牺牲精度的前提下显著降低模型面积和能耗？
• RQ2 QKeras 与 hls4ml 流水线在多大程度上能自动化实现将量化 DNN 部署到 FPGA 上以实现超低延迟推理？
• RQ3 在实时高能物理事件触发中使用的复杂 DNN 上，是否可行实现在 FPGA 上的亚微秒级推理延迟？
• RQ4 在使用异构量化时，模型精度、硬件资源使用和推理延迟之间的权衡效果如何？
• RQ5 所提出的流水线是否能在关键层将数值精度降低至 4 位或以下的同时保持高精度？

主要发现

• 通过 QKeras 实现的异构量化显著降低了模型面积和能耗，同时保持了高精度。
• QKeras 与 hls4ml 的集成实现了量化模型在 FPGA 上的完全自动化部署，极大减少了手动优化工作。
• 该流水线实现了约 1 微秒的推理延迟，满足了 CERN 实时事件触发的严格要求。
• 量化感知训练在极端精度降低情况下仍能有效缓解精度下降，尤其在结合异构量化时效果更佳。
• 该方法实现了每层精度的细粒度控制，从而在延迟、面积和精度之间实现最优权衡。
• 该系统证明了在高能物理应用中，对复杂 DNN 实现 FPGA 上的超低延迟推理是可行的。