[论文解读] ODverse33: Is the New YOLO Version Always Better? A Multi Domain benchmark from YOLO v5 to v11

Tianyou Jiang, Yang Zhong|ArXiv.org|Feb 20, 2025

Scientific Computing and Data Management被引用 5

一句话总结

该论文编译了一个跨版本、跨领域的基准测试（ODverse33），比较 YOLOv5 到 YOLOv11，以评估在多样化领域中新版本是否始终优于前代。

ABSTRACT

You Look Only Once (YOLO) models have been widely used for building real-time object detectors across various domains. With the increasing frequency of new YOLO versions being released, key questions arise. Are the newer versions always better than their previous versions? What are the core innovations in each YOLO version and how do these changes translate into real-world performance gains? In this paper, we summarize the key innovations from YOLOv1 to YOLOv11, introduce a comprehensive benchmark called ODverse33, which includes 33 datasets spanning 11 diverse domains (Autonomous driving, Agricultural, Underwater, Medical, Videogame, Industrial, Aerial, Wildlife, Retail, Microscopic, and Security), and explore the practical impact of model improvements in real-world, multi-domain applications through extensive experimental results. We hope this study can provide some guidance to the extensive users of object detection models and give some references for future real-time object detector development.

研究动机与目标

• 提出一个问题：在多样化的现实世界领域中新版 YOLO 是否始终优于旧版。
• 介绍 ODverse33 作为一个面向从 v5 到 v11 的 YOLO 模型的全面多领域基准测试。
• 提供一个实验框架和数据集，用于分析 YOLO 创新在实际应用中的性能提升。
• 为研究人员和从业者在实时目标检测任务中选择 YOLO 版本提供指导。

提出的方法

• 回顾并总结从 YOLOv1 到 YOLOv11 引入的关键创新。
• 构建名为 ODverse33 的基准测试，涵盖 11 个领域的 33 个数据集。
• 评估模型在不同领域的性能，以理解 YOLO 改进在现实世界中的影响。
• 开展广泛实验，比较 YOLO v5 到 v11 在多个领域中的表现。
• 分析架构变更在实时系统中对检测有效性的实际影响。

实验结果

研究问题

• RQ1 在不同领域中，更新的 YOLO 版本是否始终优于旧版本？
• RQ2 每个 YOLO 版本的哪些核心创新转化为现实世界的收益或权衡？
• RQ3 在自动驾驶、农业、水下、医疗等领域，YOLO 的性能如何变化？
• RQ4 在多领域实时应用中，关于选择 YOLO 版本可以提供哪些指导？

主要发现

• 新版本的 YOLO 并非在所有领域都普遍优于旧版本。
• 这项包含 33 个数据集、跨域的基准测试揭示了域相关的性能提升与权衡。
• 新版本中的创新在不同领域的特征和数据集细节下带来不同的改进。
• ODverse33 提供了一个结构化框架，用于在超越单一数据集基准的情况下比较 YOLO 版本。
• 本研究为在异质环境中部署实时检测器提供了实际洞见。