[论文解读] You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery

Adam Van Etten|arXiv (Cornell University)|May 24, 2018

Advanced Neural Network Applications参考文献 4被引用 207

一句话总结

YOLT 通过适配一种快速的多尺度、全卷积检测器来处理极大尺度的顶层图像，实现在大规模卫星场景中近实时定位诸如汽车、飞机、船只、建筑和机场等小型目标。

ABSTRACT

Detection of small objects in large swaths of imagery is one of the primary problems in satellite imagery analytics. While object detection in ground-based imagery has benefited from research into new deep learning approaches, transitioning such technology to overhead imagery is nontrivial. Among the challenges is the sheer number of pixels and geographic extent per image: a single DigitalGlobe satellite image encompasses >64 km2 and over 250 million pixels. Another challenge is that objects of interest are minuscule (often only ~10 pixels in extent), which complicates traditional computer vision techniques. To address these issues, we propose a pipeline (You Only Look Twice, or YOLT) that evaluates satellite images of arbitrary size at a rate of >0.5 km2/s. The proposed approach can rapidly detect objects of vastly different scales with relatively little training data over multiple sensors. We evaluate large test images at native resolution, and yield scores of F1 > 0.8 for vehicle localization. We further explore resolution and object size requirements by systematically testing the pipeline at decreasing resolution, and conclude that objects only ~5 pixels in size can still be localized with high confidence. Code is available at https://github.com/CosmiQ/yolt.

研究动机与目标

• 解决在超大尺寸卫星图像中检测极小目标的挑战。
• 开发一种快速的稠密网格卷积神经网络架构，适用于高密度、任意旋转的俯视对象。
• 通过将大图分割成可处理的小块并拼接结果, 实现原生分辨率处理。
• 通过数据增强和多尺度分类器缓解尺度和旋转的不变性。
• 展示跨传感器的可迁移性并分析分辨率对检测性能的影响。

提出的方法

• 在受 YOLO 启发的框架上扩展一个 22 层的稠密网络，输入为 416x416 时下采样至 16 倍并输出 26x26 的预测网格。
• 引入一个透传层，将高分辨率特征图与之拼接以细化小目标定位。
• 将大图分割为重叠的小切片，逐个用检测器评估并将结果拼接成全局地图。
• 对全局预测结果集合应用非极大抑制以去除重复检测。
• 在不同尺度使用双分类器以减少小物体与大型基础设施（如车辆/建筑 vs 机场）之间的混淆。
• 使用随机梯度下降训练，每个网格有 5 个框，学习率 1e-3，权重衰减 0.0005，动量 0.9。

实验结果

研究问题

• RQ1 是否可以有效将类似 YOLO 的检测器自适应到具有非常小、密集分布目标的俯视图像？
• RQ2 多尺度（双分类器）方法是否提高了对机场与车辆/建筑等目标的检测准确性并降低误检率？
• RQ3 在卫星影像中，目标检测性能如何随地面取样距离（分辨率）和目标尺寸的变化而变化？
• RQ4 该方法能否在不同传感器之间迁移（例如从 DigitalGlobe 到 Planet）而无需大量再训练？
• RQ5 在原生分辨率下处理任意大尺寸卫星图像时，实际推理速度是多少？

主要发现

• YOLT 在各类别的 F1 分数范围为 0.61–0.91，机场和车辆表现最强（如机场 F1 ≈ 0.91，汽车 ≈ 0.90）。
• 在 GPU 上推理速度很快，约 50 帧/秒，城市尺度区域的全区域定位在几分钟内完成。
• 双尺度分类器通过避免小物体与大型基础设施之间的混淆显著提升结果，优于单一通用模型。
• 对于汽车，最小可定位对象约为 ~5 像素，且自信定位，随着对象尺寸减小到 ~1 像素时性能逐渐下降。
• 在 30 cm GSD 下，该方法检测汽车、飞机、船只、建筑和机场，F1 分数各有不同；机场在不同尺度下表现尤为稳健。
• 该流程可在约 30 公里^2/分钟定位车辆与建筑，机场约 6,000 公里^2/分钟，表明近实时卫星分析的可行性。