[论文解读] Rethinking Drone-Based Search and Rescue with Aerial Person Detection

Pasi Pyrrö, Hassan Naseri+1 more|arXiv (Cornell University)|Nov 17, 2021

Advanced Neural Network Applications参考文献 41被引用 4

一句话总结

本文提出Aerial Inspection RetinaNet（AIR），一种深度学习模型，可自动化无人机搜救（SAR）任务中的空中人员检测。通过整合一种新颖的后处理方法——重叠边界框合并（MOB）以及一种新的SAR专用评估方案，AIR在HERIDAL基准上实现了精度提升21个百分点（94.9%）和92.9%的召回率，显著优于人工检测员和当前最先进方法。

ABSTRACT

The visual inspection of aerial drone footage is an integral part of land search and rescue (SAR) operations today. Since this inspection is a slow, tedious and error-prone job for humans, we propose a novel deep learning algorithm to automate this aerial person detection (APD) task. We experiment with model architecture selection, online data augmentation, transfer learning, image tiling and several other techniques to improve the test performance of our method. We present the novel Aerial Inspection RetinaNet (AIR) algorithm as the combination of these contributions. The AIR detector demonstrates state-of-the-art performance on a commonly used SAR test data set in terms of both precision (~21 percentage point increase) and speed. In addition, we provide a new formal definition for the APD problem in SAR missions. That is, we propose a novel evaluation scheme that ranks detectors in terms of real-world SAR localization requirements. Finally, we propose a novel postprocessing method for robust, approximate object localization: the merging of overlapping bounding boxes (MOB) algorithm. This final processing stage used in the AIR detector significantly improves its performance and usability in the face of real-world aerial SAR missions.

研究动机与目标

• 自动化陆地搜救（SAR）任务中缓慢且易出错的空中无人机影像人工检查过程。
• 解决在高分辨率空中图像中检测小尺寸、低对比度人员的挑战，尤其在密集目标群体场景下。
• 重新定义空中人员检测的评估指标，使其更符合真实SAR定位需求，优先考虑检测而非精确定位。
• 开发一种稳健的后处理方法，提升在SAR图像中常见密集人群场景下的检测可靠性。
• 在保持实际部署可行性的同时，实现精度与速度方面的最先进性能，适用于SAR任务的实时部署。

提出的方法

• AIR检测器基于RetinaNet，一种针对空中影像前景-背景类别不平衡问题优化的一阶段目标检测器。
• 模型采用ResNeXt-101主干网络并结合特征金字塔网络（FPN），实现多尺度特征提取，增强小目标检测能力。
• 应用在线数据增强、迁移学习以及置信度分数阈值校准，以提升泛化能力和测试性能。
• 重叠边界框合并（MOB）算法通过聚类与合并重叠框对检测输出进行后处理，降低密集人群场景下的漏检率。
• 提出一种新型SAR-APD评估方案，优先考虑检测性能而非定位精度，采用放宽的IoU阈值以反映真实SAR需求。
• 在HERIDAL基准上，采用VOC2012和SAR-APD两种评估协议对方法进行验证，以在不同标准下比较性能表现。

实验结果

研究问题

• RQ1 如何利用深度学习实现无人机搜救任务中空中人员检测的自动化，减少对人工图像检查的依赖？
• RQ2 何种模型架构与训练策略能实现对高分辨率空中图像中微小、低对比度人员的最佳检测性能？
• RQ3 所提出的MOB后处理方法相较于标准NMS，在密集人群场景下的检测鲁棒性有何提升？
• RQ4 与传统指标（如VOC2012）相比，新提出的SAR-APD评估方案在多大程度上更符合真实操作需求？
• RQ5 AIR检测器是否能在HERIDAL基准上超越人工检测员和现有最先进模型，在精度、召回率与推理速度方面均表现更优？

主要发现

• 在提出的SAR-APD评估方案下，AIR检测器在HERIDAL测试集上实现了94.9%的精度与92.9%的召回率，相比之前方法精度提升21个百分点。
• MOB后处理方法显著提升性能，减少对激进置信度阈值的依赖，实现在不损失精度的前提下提高召回率。
• 在SAR-APD评估方案下，AIR达到91.7%的平均精度（AP），在准确率上优于最强基线模型（Multimodel CNN），且推理速度快10倍，同时支持端到端训练。
• AIR检测器超越人类表现（平均精度59%，召回率68%，每幅图像平均检查时间33秒），在1秒内完成单幅图像处理，而人类需33秒。
• MOB与SAR-APD评估方案的结合使性能表现更具实用性与操作相关性，优先保障检测可靠性而非精确定位。
• 该模型展现出具有竞争力的推理速度（每幅图像1秒），适用于野外SAR任务的实时部署。