[论文解读] Remote Sensing Object Detection Meets Deep Learning: A Meta-review of Challenges and Advances

Xiangrong Zhang, Tianyang Zhang+5 more|arXiv (Cornell University)|Sep 13, 2023

Remote-Sensing Image Classification被引用 5

一句话总结

本篇元综述综合了300余篇基于深度学习的遥感目标检测（RSOD）研究，系统分析了五大核心挑战：多尺度、旋转、弱监督、小目标及有限监督目标检测。文章提供了最先进方法、基准数据集、评估指标与应用场景的分层概述，同时指出了未来关键研究方向，如跨模态域自适应、增量学习、自监督预训练以及面向资源受限平台的轻量化架构。

ABSTRACT

Remote sensing object detection (RSOD), one of the most fundamental and challenging tasks in the remote sensing field, has received longstanding attention. In recent years, deep learning techniques have demonstrated robust feature representation capabilities and led to a big leap in the development of RSOD techniques. In this era of rapid technical evolution, this review aims to present a comprehensive review of the recent achievements in deep learning based RSOD methods. More than 300 papers are covered in this review. We identify five main challenges in RSOD, including multi-scale object detection, rotated object detection, weak object detection, tiny object detection, and object detection with limited supervision, and systematically review the corresponding methods developed in a hierarchical division manner. We also review the widely used benchmark datasets and evaluation metrics within the field of RSOD, as well as the application scenarios for RSOD. Future research directions are provided for further promoting the research in RSOD.

研究动机与目标

• 提供对基于深度学习的遥感目标检测（RSOD）方法在五大主要挑战中的系统性、分层式综述。
• 分析当前RSOD方法在处理尺度变化、任意方向、弱特征响应、小目标及标注数据有限等方面的局限性。
• 评估RSOD中广泛使用的基准数据集、评估指标及实际应用场景。
• 识别并讨论新兴研究方向，包括域自适应、增量学习、自监督预训练及高效模型设计。
• 通过指出RSOD中具有前景但尚未充分探索的研究领域，尤其针对资源受限环境下的部署，为未来研究提供指导。

提出的方法

• 作者对300余篇近期RSOD论文进行了元综述，根据其主要解决的挑战将方法划分为五类：多尺度、旋转、弱监督、小目标及有限监督检测。
• 针对每一项挑战，论文采用分层分类法组织并分析方法，包括主干网络、特征提取模块、检测头设计及损失函数。
• 综述评估了基准数据集（如DIOR、DOTA、VisDrone、NWPU-RESISC）、标准评估指标（如mAP、IoU）以及城市监测、灾害响应等应用场景。
• 作者识别出关键技术缺口，并提出未来研究方向，包括跨模态域自适应（如光学图像到SAR图像）、用于动态类别的增量学习，以及在多源遥感数据上进行自监督预训练。
• 该方法包括对模型效率、域偏移下的泛化能力及计算成本的对比分析，尤其关注机载与星载平台的部署性能。
• 综述整合了计算机视觉与遥感领域的洞见，以评估RSOD方法的可迁移性与可扩展性。

实验结果

研究问题

• RQ1 基于深度学习的RSOD方法如何应对对象类别间及类别内极端尺度变化的挑战？
• RQ2 哪些技术能够有效实现对航拍遥感图像中任意方向目标的检测？
• RQ3 如何改进模型以检测因背景噪声与遮挡导致特征响应微弱的目标？
• RQ4 在像素级表示极小的情况下，哪些策略能有效检测小目标？
• RQ5 如何将RSOD模型适配至标注数据有限或弱监督的低资源环境？

主要发现

• 综述识别出RSOD中五个主导性挑战：多尺度、旋转、弱监督、小目标及有限监督检测，每一类均需专门的方法论应对。
• 当前最先进检测器在小目标检测方面仍表现不佳，主要受限于特征表示能力弱及特征金字塔网络中的特征抑制。
• 域差距问题——尤其是光学与SAR图像之间的差异——仍是主要障碍，跨模态自适应是关键但尚未充分发展的研究前沿。
• 在遥感数据上进行自监督预训练展现出显著潜力，可减少对ImageNet预训练的依赖，并提升域泛化能力。
• 增量学习方法虽已出现，但在RSOD中仍属研究不足，尤其在无需灾难性遗忘地持续学习新类别方面。
• 紧凑高效的检测器目前仍无法在机载或星载平台上部署，因其计算需求过高，凸显了边缘计算部署中的关键缺口。