[论文解读] PP-YOLOE: An evolved version of YOLO

Shangliang Xu, Xinxin Wang+9 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Neural Network Applications被引用 224

一句话总结

PP-YOLOE 是一种工业级单阶段检测器，在 anchor-free 设计、CSPRepResNet 主干/颈、ET-head 与 TAL 标签分配的基础上，推动 PP-YOLOv2，达到最先进的 COCO 结果并广泛部署兼容性。

ABSTRACT

In this report, we present PP-YOLOE, an industrial state-of-the-art object detector with high performance and friendly deployment. We optimize on the basis of the previous PP-YOLOv2, using anchor-free paradigm, more powerful backbone and neck equipped with CSPRepResStage, ET-head and dynamic label assignment algorithm TAL. We provide s/m/l/x models for different practice scenarios. As a result, PP-YOLOE-l achieves 51.4 mAP on COCO test-dev and 78.1 FPS on Tesla V100, yielding a remarkable improvement of (+1.9 AP, +13.35% speed up) and (+1.3 AP, +24.96% speed up), compared to the previous state-of-the-art industrial models PP-YOLOv2 and YOLOX respectively. Further, PP-YOLOE inference speed achieves 149.2 FPS with TensorRT and FP16-precision. We also conduct extensive experiments to verify the effectiveness of our designs. Source code and pre-trained models are available at https://github.com/PaddlePaddle/PaddleDetection.

研究动机与目标

• 推进可扩展、可部署的实时应用的一阶段目标检测模型族。
• 通过任务对齐的训练范式，改善分类与定位之间的一致性。
• 通过 RepResBlock 基于 CSPRepResNet 与 CSPRepResStage 提升主干与颈部的效率。
• 结合动态标签分配与快速高效的检测头，提升精度，同时避免大量变形操作或矩阵 NMS。

提出的方法

• 借鉴 FCOS 的 anchor-free 检检测，进行像素级正样本采样。
• 引入 RepResBlock 用于主干/颈部，以及 CSPRepResNet/CSPRepResStage 实现高效的跨阶段连接。
• 结合动态标签分配的任务对齐学习（TAL），改善正样本选择与定位。
• 开发高效的任务对齐检测头（ET-head），融合 ESE 注意力、基于 VFL/DFL 的损失以及基于分布的边界框建模。
• 通过宽度/深度乘数对模型进行尺度化，生成 s/m/l/x 变体，便于灵活部署。
• 提供可落地实现，支持 PaddleDetection、TensorRT 与 ONNX。

实验结果

研究问题

• RQ1 锚点自由训练结合 TAL 是否相对于基于锚点的 PP-YOLOv2 及如 YOLOX 的竞争模型带来可观的提升？
• RQ2 CSPRepResNet/RepResBlock 主干-颈部设计对不同规模模型的速度与精度有何影响？
• RQ3 ET-head 与 VFL/DFL 损失对分类-定位对齐及整体 AP 的影响如何？
• RQ4 所提出的 PP-YOLOE 系列是否能在各变体上满足工业部署的约束（速度、内存、硬件兼容性）？

主要发现

• PP-YOLOE-l 在 COCO test-dev 上达到 51.4 mAP，Tesla V100 上达 78.1 FPS。
• 与 PP-YOLOv2 和 YOLOX 相比，PP-YOLOE-l 的 AP 提升了 1.9 或 1.3 个点，同时提升了速度。
• 锚点自由设计降低了对人工调参锚点的依赖，相对于基线 PP-YOLOv2 的 AP 损失很小（0.3）。
• TAL 在消融实验中达到最佳的 45.2 AP，整合 TAL 并结合其他组件时基线可达到 50.4 AP。
• ET-head 在基线基础上再提升 0.5 AP，且速度保持有利，贡献到 50.9 AP。
• PP-YOLOE-高阶模型（x）在精度与部署硬件/精度组合下达到 52.2–54.7 AP，速度为 95.2–149.2 FPS。
• PP-YOLOE-family 在 FP32/FP16/TensorRT 配置下，与 YOLOv5/YOLOX 的速度/精度权衡具有竞争力甚至优越性。