[论文解读] Synthetic Data and Hierarchical Object Detection in Overhead Imagery

Nathan Clement, Alan Schoen+2 more|arXiv (Cornell University)|Jan 29, 2021

Remote-Sensing Image Classification被引用 4

一句话总结

本文提出了一种基于合成数据的分层目标检测框架，以提升在低资源和零样本遥感场景下的性能。该方法引入了 GAN-Reskinner 以生成逼真的重纹理三维渲染图像，并采用从宽到窄的检测架构，利用真实数据检测宽类别，利用合成数据检测窄类别，在高空卫星图像的零样本设置下实现了最先进水平的召回率。

ABSTRACT

The performance of neural network models is often limited by the availability of big data sets. To treat this problem, we survey and develop novel synthetic data generation and augmentation techniques for enhancing low/zero-sample learning in satellite imagery. In addition to extending synthetic data generation approaches, we propose a hierarchical detection approach to improve the utility of synthetic training samples. We consider existing techniques for producing synthetic imagery--3D models and neural style transfer--as well as introducing our own adversarially trained reskinning network, the GAN-Reskinner, to blend 3D models. Additionally, we test the value of synthetic data in a two-stage, hierarchical detection/classification model of our own construction. To test the effectiveness of synthetic imagery, we employ it in the training of detection models and our two stage model, and evaluate the resulting models on real satellite images. All modalities of synthetic data are tested extensively on practical, geospatial analysis problems. Our experiments show that synthetic data developed using our approach can often enhance detection performance, particularly when combined with some real training images. When the only source of data is synthetic, our GAN-Reskinner often boosts performance over conventionally rendered 3D models and in all cases the hierarchical model outperforms the baseline end-to-end detection architecture.

研究动机与目标

• 解决高空卫星图像目标检测中真实训练数据有限的问题，特别是在低样本和零样本学习设置下。
• 通过提升合成训练样本的真实感，减少合成与真实卫星图像之间的域差距。
• 设计一种模块化、两阶段的检测架构，通过分离检测与分类以提升泛化能力与数据效率。
• 评估多种合成数据生成技术（3D CAD 渲染、GAN-Reskinner 和神经风格迁移）在真实地理空间检测任务中的有效性。
• 证明基于合成数据的分层检测方法能显著提升召回率与精确率，尤其在目标类别缺乏真实数据时表现更优。

提出的方法

• 提出 GAN-Reskinner，一种基于条件 GAN 的纹理重渲染网络，可将三维渲染的合成图像重新渲染为具有真实纹理的图像，以减少域偏移。
• 将 3D CAD 模型与对抗训练相结合，通过学习将真实图像的纹理迁移至合成物体，从而生成多样化且逼真的高空合成图像。
• 应用神经风格迁移技术以增强小规模真实数据集，提升模型对季节性、光照等成像条件变化的鲁棒性。
• 设计从宽到窄的两阶段检测架构：首先，由宽类别检测器利用真实数据识别一般物体类别；其次，由窄类别分类器利用合成数据对特定目标类别进行预测优化。
• 在相关类别的真实数据（如所有车辆）上训练宽类别检测器，而窄类别分类器则仅在目标类别的合成数据（如紧凑型乘用车）上进行训练。
• 采用联合训练策略，通过窄类别分类器对宽类别检测器的输出进行过滤，实现在细粒度分类中使用合成数据的端到端优化。

实验结果

研究问题

• RQ1 与仅使用真实数据相比，通过 3D CAD 渲染和基于 GAN 的纹理重渲染生成的合成数据是否能提升高空卫星图像中的目标检测性能？
• RQ2 GAN-Reskinner 技术在目标检测任务中如何减少合成与真实卫星图像之间的域差距？
• RQ3 与端到端模型相比，从宽到窄的分层检测架构在零样本和低样本检测任务中能多大程度上提升性能？
• RQ4 神经风格迁移在增强小规模真实数据集方面有多有效，能否提升模型在不同成像条件下的泛化能力？
• RQ5 结合多种合成数据生成技术（3D 渲染、GAN-Reskinner、风格迁移）是否能获得优于任一单一方法的检测性能？

主要发现

• GAN-Reskinner 在性能上持续优于传统三维渲染模型，尤其在减少域偏移和增强特征判别能力方面表现显著。
• 在零样本检测中，从宽到窄的模型在使用真实数据训练宽类别、合成数据训练窄类别时，对飞机和乘用车实现了 100% 的召回率，优于端到端模型。
• 在低样本设置下，从宽到窄架构在仅使用合成数据训练窄类别的条件下，对飞机实现了 97.6% 的召回率，对乘用车实现了 97.0% 的召回率，显著优于端到端基线模型。
• 当仅使用合成数据时，基于 GAN-Reskinner 的模型对飞机实现了 100% 的召回率，对乘用车实现了 96.3% 的召回率，证明其在零样本场景下的有效性。
• 分层模型通过窄分类器过滤宽类别检测结果，显著降低了误报率，最佳配置（R+C+G+N）对飞机实现了 99.4% 的召回率，对乘用车实现了 95.1% 的召回率，且误检极少。
• 神经风格迁移提升了模型对成像条件变化的鲁棒性，当与其他合成数据技术结合时，进一步增强了在不同季节和光照条件下的泛化能力。