[论文解读] What is YOLOv9: An In-Depth Exploration of the Internal Features of the Next-Generation Object Detector

Muhammad Yaseen|arXiv (Cornell University)|Sep 12, 2024

Industrial Vision Systems and Defect Detection被引用 34

一句话总结

本文分析YOLOv9的架构（GELAN 和 PGI）、训练方法和性能，展示相对于 YOLOv8 的改进，并详细描述适用于不同部署的模型变体。

ABSTRACT

This study provides a comprehensive analysis of the YOLOv9 object detection model, focusing on its architectural innovations, training methodologies, and performance improvements over its predecessors. Key advancements, such as the Generalized Efficient Layer Aggregation Network GELAN and Programmable Gradient Information PGI, significantly enhance feature extraction and gradient flow, leading to improved accuracy and efficiency. By incorporating Depthwise Convolutions and the lightweight C3Ghost architecture, YOLOv9 reduces computational complexity while maintaining high precision. Benchmark tests on Microsoft COCO demonstrate its superior mean Average Precision mAP and faster inference times, outperforming YOLOv8 across multiple metrics. The model versatility is highlighted by its seamless deployment across various hardware platforms, from edge devices to high performance GPUs, with built in support for PyTorch and TensorRT integration. This paper provides the first in depth exploration of YOLOv9s internal features and their real world applicability, establishing it as a state of the art solution for real time object detection across industries, from IoT devices to large scale industrial applications.

研究动机与目标

• 评估YOLOv9的架构创新（GELAN 和 PGI）及其对梯度流和特征提取的影响。
• 评估训练方法（数据增强、损失函数、混合精度）及其对性能与效率的作用。
• 将YOLOv9的不同变体与YOLOv8及MS COCO基准进行比较，以指导部署选择。
• 演示包括PyTorch和TensorRT集成在内的实际部署考虑。
• 提供与YOLOv9兼容的标注格式与标注工具的指南。

提出的方法

• 引入 Programmable Gradient Information (PGI) 以解决梯度流动和信息瓶颈。
• 引入 Generalized Efficient Layer Aggregation Network (GELAN) 以增强多尺度特征聚合。
• 在PGI启用的可逆数据路径下维持无锚框的边界框预测。
• 利用 mosaic 与 mixup 数据增强以及混合精度训练。
• 提供具有相应参数量和精度数据的模型变体（t, s, m, c, e）。
• 在 MS COCO 上进行评估并在各项指标上与 YOLOv8 进行比较。

Figure 1: PGI Architecture in YOLOv9 [ 15 ]

实验结果

研究问题

• RQ1 与先前的YOLO版本相比，GELAN和PGI如何影响YOLOv9的梯度流和特征融合？
• RQ2 在MS COCO上，YOLOv9变体在模型大小、速度和精度之间的权衡是什么？
• RQ3 YOLOv9的性能（mAP、推理时间）如何与YOLOv8及其他基线相比？
• RQ4 YOLOv9为边缘到服务器环境启用哪些部署工作流（PyTorch、TensorRT）？
• RQ5 哪些标注格式和标注工具最适合与YOLOv9工作流集成？

主要发现

• YOLOv9在参数量上比YOLOv8减少49%，计算量减少43%，在MS COCO上mAP提升0.6%。
• YOLOv9变体覆盖从轻量级边缘模型到高精度对手（t, s, m, c, e），并给出相应的参数量和mAP。
• 表格比较显示mAP@0.5为53%（YOLOv7 AF）到72.8%（YOLOv9-E），在测试设置下推理时间降至23 ms。
• YOLOv9t与YOLOv9s面向资源受限环境；YOLOv9e在显著的参数效率下获得最高准确度（55.6% mAP）。
• GELAN 和 PGI 解决信息瓶颈与梯度消失问题，使轻量级模型也能达到较强的准确性。
• YOLOv9支持 PyTorch 与 TensorRT，促进在边缘到GPU平台上的实时部署。

Figure 2: GELAN Architecture in YOLOv9 [ 16 ]