[论文解读] RarePlanes: Synthetic Data Takes Flight

Jacob Shermeyer, Thomas Hossler+4 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Neural Network Applications参考文献 67被引用 8

一句话总结

RarePlanes 引入了一个大规模、开源的数据集，结合了 253 幅真实的 Maxar WorldView-3 卫星图像和 50,000 幅合成卫星图像，用于飞机检测与细粒度属性分类。实验表明，90% 合成数据 + 10% 真实数据的组合可达到全真实数据模型 mAP 性能的 91–96%，证明了合成数据在减少对真实数据依赖方面的巨大潜力，适用于高空计算机视觉任务。

ABSTRACT

RarePlanes is a unique open-source machine learning dataset that incorporates both real and synthetically generated satellite imagery. The RarePlanes dataset specifically focuses on the value of synthetic data to aid computer vision algorithms in their ability to automatically detect aircraft and their attributes in satellite imagery. Although other synthetic/real combination datasets exist, RarePlanes is the largest openly-available very-high resolution dataset built to test the value of synthetic data from an overhead perspective. Previous research has shown that synthetic data can reduce the amount of real training data needed and potentially improve performance for many tasks in the computer vision domain. The real portion of the dataset consists of 253 Maxar WorldView-3 satellite scenes spanning 112 locations and 2,142 km^2 with 14,700 hand-annotated aircraft. The accompanying synthetic dataset is generated via AI.Reverie's simulation platform and features 50,000 synthetic satellite images simulating a total area of 9331.2 km^2 with ~630,000 aircraft annotations. Both the real and synthetically generated aircraft feature 10 fine grain attributes including: aircraft length, wingspan, wing-shape, wing-position, wingspan class, propulsion, number of engines, number of vertical-stabilizers, presence of canards, and aircraft role. Finally, we conduct extensive experiments to evaluate the real and synthetic datasets and compare performances. By doing so, we show the value of synthetic data for the task of detecting and classifying aircraft from an overhead perspective.

研究动机与目标

• 解决当前缺乏大规模、可自由许可、超高分辨率的高空图像数据集的问题，这些数据集结合了真实与合成的卫星图像，用于飞机检测。
• 评估合成数据在减少对昂贵、人工标注的真实训练数据依赖方面的有效性，用于飞机检测与细粒度属性分类。
• 通过提供带有详细标注的配对真实与合成数据，建立一个用于高空计算机视觉领域自适应与迁移学习的基准。
• 通过包含 10 个详细飞机属性和 33 个子属性的数据集，支持零样本学习、实例分割与细粒度分类的研究。
• 提供一个可复现的开源基准，以支持未来在遥感领域中领域自适应与合成数据泛化技术的发展。

提出的方法

• 使用 AI.Reverie 的仿真平台生成 50,000 幅合成卫星图像，该平台基于真实机场元数据和高空影像，利用 Unreal Engine 程序化生成逼真的 3D 环境。
• 通过控制传感器视角、一天中的时间、天气状况、生物群落、季节变化以及飞机分布等仿真参数，确保数据的多样性与真实性。
• 对所有合成与真实飞机进行 10 个细粒度属性的标注：长度、翼展、机翼形状、机翼位置、FAA 翼展等级、推进方式、发动机数量、垂直安定面数量、飞控翼面（canards）存在性以及飞机角色。
• 使用 Detectron2 训练 Faster R-CNN 和 Mask R-CNN 模型，采用 ResNet-50 和 FPN 主干网络，预训练于 ImageNet，并通过固定初始值为 0.001 的 SGD 进行优化。
• 在合成数据训练期间应用数据增强技术，包括随机裁剪（512×512）、模糊处理以及对比度/亮度调整。
• 使用 COCO 风格的平均精度（AP）、mAP、mAP50 和平均召回率（AR）评估性能，比较仅使用合成数据、仅使用真实数据以及微调后的合成+真实数据组合训练的模型表现。

实验结果

研究问题

• RQ1 合成卫星图像能否有效减少在高空视角飞机检测中对真实、标注数据的依赖？
• RQ2 仅使用合成数据训练的模型在检测准确率与误报率方面，与使用真实数据训练的模型相比表现如何？
• RQ3 使用少量真实数据对预训练于合成数据的模型进行微调，能在多大程度上提升性能并缩小领域差距？
• RQ4 合成数据在支持遥感领域飞机检测与细粒度属性分类的迁移学习方面有多高效？
• RQ5 在飞机检测任务中，实现接近最优性能的合成数据与真实数据的最佳比例是多少？

主要发现

• 仅使用合成数据训练的模型，其 mAP 性能达到真实数据训练模型的 55–75%，表明存在显著的领域差距。
• 尽管 mAP 较低，但合成数据训练的模型仍实现了 70–80% 的平均召回率（AR），表明大多数飞机仍被检测到，但误报率较高。
• AP50 指标更强调计数准确性而非定位精度，其下降幅度较小（对领域差距更不敏感），表明合成数据在计数任务中可能更有效。
• 使用仅 10% 真实数据对预训练于合成数据的模型进行微调，可使 mAP 提升至真实数据模型性能的 91–96%。
• 添加少量真实数据显著降低了误报率，特别是对杂乱背景、地面标记和积雪区域等常被误判为飞机的区域。
• 冻结主干网络层或降低初始起始学习率并未提升性能，表明在此设置下，使用固定学习率进行端到端微调为最优策略。