[论文解读] YOLOv3 with Spatial Pyramid Pooling for Object Detection with Unmanned Aerial Vehicles

Wahyu Pebrianto, Panca Mudjirahardjo+3 more|arXiv (Cornell University)|May 21, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出在YOLOv3中引入空间金字塔池化（SPP）以提升无人机影像中的小目标检测性能。通过将SPP模块集成到darknet-53主干网络中，模型增强了多尺度特征提取能力，在640×640输入分辨率下，相较于YOLOv3，mAP提升0.6%；相较于YOLOv3-tiny，mAP提升26.6%，且在不同输入尺度下表现出更强的鲁棒性。

ABSTRACT

Object detection with Unmanned Aerial Vehicles (UAVs) has attracted much attention in the research field of computer vision. However, not easy to accurately detect objects with data obtained from UAVs, which capture images from very high altitudes, making the image dominated by small object sizes, that difficult to detect. Motivated by that challenge, we aim to improve the performance of the one-stage detector YOLOv3 by adding a Spatial Pyramid Pooling (SPP) layer on the end of the backbone darknet-53 to obtain more efficient feature extraction process in object detection tasks with UAVs. We also conducted an evaluation study on different versions of YOLOv3 methods. Includes YOLOv3 with SPP, YOLOv3, and YOLOv3-tiny, which we analyzed with the VisDrone2019-Det dataset. Here we show that YOLOv3 with SPP can get results mAP 0.6% higher than YOLOv3 and 26.6% than YOLOv3-Tiny at 640x640 input scale and is even able to maintain accuracy at different input image scales than other versions of the YOLOv3 method. Those results prove that the addition of SPP layers to YOLOv3 can be an efficient solution for improving the performance of the object detection method with data obtained from UAVs.

研究动机与目标

• 解决因高空成像导致的无人机影像中小目标检测难题。
• 提升YOLOv3等单阶段目标检测器在航拍影像中的性能。
• 评估将空间金字塔池化（SPP）模块集成到YOLOv3主干网络中以实现多尺度特征学习的有效性。
• 在不同输入尺度下，对比YOLOv3+SPP与标准YOLOv3及YOLOv3-tiny的性能表现。
• 展示模型在不同输入分辨率下检测精度与鲁棒性的提升。

提出的方法

• 在YOLOv3的darknet-53主干网络后添加空间金字塔池化（SPP）层，以捕获多尺度上下文特征。
• 在SPP模块中采用多尺度最大池化（如1×1、3×3、5×5、7×7），聚合来自不同感受野的特征。
• 将池化后的特征输入后续的YOLOv3颈部与头部进行目标检测。
• 在VisDrone2019-Det数据集上，使用640×640输入分辨率进行模型训练与评估。
• 在相同条件下，对比YOLOv3+SPP、标准YOLOv3及YOLOv3-tiny的推理性能。
• 通过在640×640以外的不同输入尺度上评估模型性能，测试其泛化能力。

实验结果

研究问题

• RQ1 将SPP集成到YOLOv3中是否能提升无人机影像中小目标的检测精度？
• RQ2 在VisDrone2019-Det数据集上，YOLOv3+SPP相较于标准YOLOv3和YOLOv3-tiny的mAP表现如何？
• RQ3 SPP增强后的YOLOv3是否能在不同输入图像分辨率下保持高检测精度？
• RQ4 SPP在航拍图像中小目标检测中，对特征表示的增强程度如何？
• RQ5 SPP模块是否能有效提升模型对无人机影像中尺度变化的鲁棒性？

主要发现

• 在640×640输入分辨率下，YOLOv3+SPP在VisDrone2019-Det数据集上的平均平均精度（mAP）比标准YOLOv3高出0.6%。
• 在相同评估条件下，SPP增强模型的mAP相比YOLOv3-tiny提升了26.6%。
• 该模型在不同输入图像尺度下均保持了高检测精度，展现出更强的鲁棒性。
• 引入SPP通过捕获主干网络中的多尺度上下文信息，提升了特征提取效率。
• SPP模块有助于在高空无人机影像中更准确地定位与分类小目标。
• 结果证实，SPP模块的集成是提升YOLOv3在航拍目标检测任务中性能的有效且高效的方法。