[论文解读] YOLO-Drone:Airborne real-time detection of dense small objects from high-altitude perspective

Zhu Li, Jiahui Xiong+3 more|arXiv (Cornell University)|Apr 14, 2023

Advanced Neural Network Applications被引用 6

一句话总结

YOLO-Drone 提出了一种用于无人机的实时目标检测模型，采用新型 Darknet59 主干网络、MSPP-FPN 特征聚合模块以及 GIoU 损失，以实现从高空视角对密集小目标的检测。该模型在 UAVDT 数据集上实现了 53 FPS 的推理速度和 34.04% 的 mAP，在基于硅基金色 LED 灯光条件下的 mAP 达到 87.71%，相较于 SOTA 方法在 UAVDT 和 VisDrone 数据集上分别提升了 10.13% 和 8.59%。

ABSTRACT

Unmanned Aerial Vehicles (UAVs), specifically drones equipped with remote sensing object detection technology, have rapidly gained a broad spectrum of applications and emerged as one of the primary research focuses in the field of computer vision. Although UAV remote sensing systems have the ability to detect various objects, small-scale objects can be challenging to detect reliably due to factors such as object size, image degradation, and real-time limitations. To tackle these issues, a real-time object detection algorithm (YOLO-Drone) is proposed and applied to two new UAV platforms as well as a specific light source (silicon-based golden LED). YOLO-Drone presents several novelties: 1) including a new backbone Darknet59; 2) a new complex feature aggregation module MSPP-FPN that incorporated one spatial pyramid pooling and three atrous spatial pyramid pooling modules; 3) and the use of Generalized Intersection over Union (GIoU) as the loss function. To evaluate performance, two benchmark datasets, UAVDT and VisDrone, along with one homemade dataset acquired at night under silicon-based golden LEDs, are utilized. The experimental results show that, in both UAVDT and VisDrone, the proposed YOLO-Drone outperforms state-of-the-art (SOTA) object detection methods by improving the mAP of 10.13% and 8.59%, respectively. With regards to UAVDT, the YOLO-Drone exhibits both high real-time inference speed of 53 FPS and a maximum mAP of 34.04%. Notably, YOLO-Drone achieves high performance under the silicon-based golden LEDs, with a mAP of up to 87.71%, surpassing the performance of YOLO series under ordinary light sources. To conclude, the proposed YOLO-Drone is a highly effective solution for object detection in UAV applications, particularly for night detection tasks where silicon-based golden light LED technology exhibits significant superiority.

研究动机与目标

• 解决由于分辨率有限、图像退化及实时处理约束导致的在无人机遥感中检测小而密集目标的挑战。
• 提升高空航拍图像中小目标的检测精度与推理速度，特别是在低光照条件下的表现。
• 开发一种专为无人机平台设计的鲁棒目标检测系统，具备实时性能与增强的特征表示能力。
• 在非标准光照条件下（特别是基于硅基的金色 LED 照明）评估模型性能，以实现有效的夜间检测。
• 在基准数据集与自定义数据集（包括金色 LED 照明下的夜间数据集）上，证明其相对于 SOTA 方法的优越性。

提出的方法

• 提出一种新型主干网络 Darknet59，旨在提升高空图像中小目标检测的特征提取效率与表征能力。
• 提出 MSPP-FPN 模块，结合一个空间金字塔池化与三个空洞空间金字塔池化模块，以增强多尺度特征学习能力。
• 采用广义交并比（GIoU）作为损失函数，以改善训练过程中边界框回归与 IoU 估计的性能。
• 利用两个公开基准数据集（UAVDT 与 VisDrone）以及一个在基于硅基金色 LED 照明条件下采集的自定义夜间数据集，进行全面评估。
• 对模型进行实时推理优化，在 UAVDT 上实现 53 FPS 的推理速度，确保其在资源受限的无人机平台上的实际部署可行性。
• 将模型应用于两个新型无人机平台，以验证其在不同硬件与飞行条件下的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 相较于现有 SOTA 方法，改进后的 YOLO 架构是否能在高空无人机图像中实现小目标检测的 mAP 显著提升？
• RQ2 所提出的 MSPP-FPN 模块在高空图像中小而密集目标的特征表征与检测精度方面有何提升作用？
• RQ3 使用 GIoU 损失在无人机目标检测任务中对定位精度与 mAP 的提升程度如何？
• RQ4 YOLO-Drone 模型在低光照条件下（特别是基于硅基的金色 LED 照明）是否能保持高性能？
• RQ5 YOLO-Drone 在无人机平台上的实际推理速度是多少？与其它实时检测模型相比表现如何？

主要发现

• 在 UAVDT 数据集上，YOLO-Drone 相较于 SOTA 方法 mAP 提升 10.13%，最高达到 34.04%。
• 在 VisDrone 数据集上，YOLO-Drone 相较于现有 SOTA 方法 mAP 提升 8.59%，展现出优异的跨数据集泛化能力。
• 模型在 UAVDT 上保持 53 FPS 的实时推理速度，证实其适用于资源受限的无人机系统部署。
• 在基于硅基金色 LED 灯光条件下，YOLO-Drone 的 mAP 达到 87.71%，显著优于普通光照条件下标准 YOLO 变体的性能。
• Darknet59、MSPP-FPN 与 GIoU 损失的结合，显著提升了特征学习与定位能力，尤其适用于密集且高空的小目标场景。
• 所提方法在低光照条件下展现出强大的鲁棒性与性能，凸显了模型架构与金色 LED 照明之间在夜间无人机检测中的协同增效作用。