[论文解读] SuperYOLO: Super Resolution Assisted Object Detection in Multimodal Remote Sensing Imagery

Jiaqing Zhang, Jie Lei+4 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Image Fusion Techniques被引用 16

一句话总结

SuperYOLO 提出了一种轻量级、实时的多模态遥感图像目标检测框架，通过在训练阶段引入超分辨率（SR）引导，增强小目标的高分辨率特征学习，同时在推理阶段移除SR分支以保持低计算成本。其在 VEDAI 数据集上达到 75.09% 的 mAP50，优于 SOTA 模型如 YOLOv5x 超过 10%，且参数量减少 18 倍、GFLOPs 减少 3.8 倍。

ABSTRACT

Accurately and timely detecting multiscale small objects that contain tens of pixels from remote sensing images (RSI) remains challenging. Most of the existing solutions primarily design complex deep neural networks to learn strong feature representations for objects separated from the background, which often results in a heavy computation burden. In this article, we propose an accurate yet fast object detection method for RSI, named SuperYOLO, which fuses multimodal data and performs high-resolution (HR) object detection on multiscale objects by utilizing the assisted super resolution (SR) learning and considering both the detection accuracy and computation cost. First, we utilize a symmetric compact multimodal fusion (MF) to extract supplementary information from various data for improving small object detection in RSI. Furthermore, we design a simple and flexible SR branch to learn HR feature representations that can discriminate small objects from vast backgrounds with low-resolution (LR) input, thus further improving the detection accuracy. Moreover, to avoid introducing additional computation, the SR branch is discarded in the inference stage, and the computation of the network model is reduced due to the LR input. Experimental results show that, on the widely used VEDAI RS dataset, SuperYOLO achieves an accuracy of 75.09% (in terms of mAP50 ), which is more than 10% higher than the SOTA large models, such as YOLOv5l, YOLOv5x, and RS designed YOLOrs. Meanwhile, the parameter size and GFLOPs of SuperYOLO are about 18 times and 3.8 times less than YOLOv5x. Our proposed model shows a favorable accuracy and speed tradeoff compared to the state-of-the-art models. The code will be open-sourced at https://github.com/icey-zhang/SuperYOLO.

研究动机与目标

• 为在高精度与低计算成本之间平衡，解决遥感图像（RSI）中多尺度、小目标（通常仅数十像素）检测的挑战。
• 通过轻量级、对称的紧凑融合机制，融合多模态数据（如 RGB 与红外）以提升检测性能。
• 通过在训练阶段引入可学习的 SR 分支，增强小目标的特征表示，同时不增加推理复杂度。
• 通过在推理阶段移除 SR 分支，实现准确率与速度之间的理想权衡，保持原始模型的高效性。

提出的方法

• 设计了一种对称紧凑的多模态融合（MF）模块，以低计算成本在像素级提取 RGB 与红外模态的互补特征。
• 通过移除 Focus 模块来修改主干网络，以防止分辨率退化，提升对小而密集目标的定位能力。
• 在训练阶段引入一种简单且灵活的超分辨率（SR）分支，引导网络学习能区分小目标与复杂背景的高分辨率特征。
• 在推理阶段移除 SR 分支，确保无额外计算开销，同时保持原始模型的推理速度与参数量。
• 采用联合损失函数，结合检测与 SR 监督进行训练，使特征提取器能够学习小目标的判别性表征。
• 在 VEDAI、DOTA、NWPU 与 DIOR 数据集上以 mAP50 为主要指标评估最终模型，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 在训练阶段引入超分辨率引导是否能在不增加推理成本的前提下，提升低分辨率遥感图像中小目标的检测性能？
• RQ2 RGB 与红外数据的多模态融合在复杂背景下如何提升小目标的检测准确率？
• RQ3 轻量级 SR 分支在推理阶段被移除的情况下，能在多大程度上改善小目标的特征表示？
• RQ4 在 YOLO 基础检测器中集成 SR 与多模态融合时，检测准确率、模型大小与计算成本之间的权衡如何？
• RQ5 在多样化的遥感基准测试中，SuperYOLO 与 SOTA 模型相比，在 mAP50、参数量与 GFLOPs 指标上的表现如何？

主要发现

• 在 VEDAI 数据集上，SuperYOLO 达到 75.09% 的 mAP50，较 YOLOv5s 高出 18.30%，较 YOLOv5x 高出 12.44%。
• SuperYOLO 在 DOTA、NWPU 与 DIOR 数据集上均达到 SOTA 性能，mAP50 分别为 69.99%、93.30% 与 71.82%。
• 在 DOTA 上，模型仅含 7.70M 参数与 20.89 GFLOPs，相比 YOLOv5x 参数量减少 18 倍、计算成本降低 3.8 倍。
• 消融实验确认，移除 Focus 模块可提升小目标检测性能，且 SR 分支显著增强模型表现，同时不影响推理速度。
• 对称紧凑的多模态融合模块有效增强了特征表示，显著提升了所有数据集上的检测准确率。
• SR 分支在学习小目标高分辨率特征方面具有显著效果，且在推理阶段移除后未造成性能下降或延迟增加。