[论文解读] Whale Detection Enhancement through Synthetic Satellite Images

Akshaj Gaur, Cheng Liu+3 more|arXiv (Cornell University)|Aug 15, 2023

Marine animal studies overviewEnvironmental Science被引用 3

一句话总结

本文介绍了SeaDroneSim2，这是一个合成卫星和航空影像生成平台，通过将真实数据集与逼真的合成数据相结合，提升了海洋环境中鲸鱼检测的性能。仅使用10%的真实数据并辅以合成图像进行训练，作者在检测召回率（DR50）上实现了15.4%的提升，在DR60上实现了15.7%的增益，表明相较于仅使用真实数据训练，性能有显著提升。

ABSTRACT

With a number of marine populations in rapid decline, collecting and analyzing data about marine populations has become increasingly important to develop effective conservation policies for a wide range of marine animals, including whales. Modern computer vision algorithms allow us to detect whales in images in a wide range of domains, further speeding up and enhancing the monitoring process. However, these algorithms heavily rely on large training datasets, which are challenging and time-consuming to collect particularly in marine or aquatic environments. Recent advances in AI however have made it possible to synthetically create datasets for training machine learning algorithms, thus enabling new solutions that were not possible before. In this work, we present a solution - SeaDroneSim2 benchmark suite, which addresses this challenge by generating aerial, and satellite synthetic image datasets to improve the detection of whales and reduce the effort required for training data collection. We show that we can achieve a 15% performance boost on whale detection compared to using the real data alone for training, by augmenting a 10% real data. We open source both the code of the simulation platform SeaDroneSim2 and the dataset generated through it.

研究动机与目标

• 解决鲸鱼检测中真实世界海洋影像数据稀缺且成本高昂的问题。
• 减少对昂贵且耗时的海洋环境人工数据采集与标注的依赖。
• 开发一个可扩展、可定制的仿真平台，用于生成多样化的、逼真的合成航空与卫星影像，以训练目标检测模型。
• 评估合成数据在不同网络架构和数据比例下提升检测性能的有效性。
• 开源SeaDroneSim2仿真框架及生成的合成数据集，以加速海洋目标检测领域的研究。

提出的方法

• 利用Blender™作为渲染引擎，构建基于物理的海洋场景仿真环境。
• 设计可自定义的虚拟场景，参数可调，包括水体特性、光照条件、相机高度、视角角度以及噪声水平。
• 生成具有精确实例分割掩码的逼真合成航空与卫星影像，涵盖鲸鱼及其他海洋物体。
• 以不同比例（10%、50%）将合成数据与真实数据集结合，用于训练和微调目标检测模型。
• 采用DR50和DR60指标评估性能——即在50%和60%重叠阈值下的检测召回率，与人工标注的真实值进行对比。
• 对比不同模型（Unet、FPN）及数据组合下的检测性能，以分离出合成数据增强的影响。

实验结果

研究问题

• RQ1 当用于增强有限的真实数据集时，合成卫星与航空影像是否能显著提升鲸鱼检测性能？
• RQ2 与仅使用真实数据训练相比，合成数据的引入如何影响检测召回率（DR50与DR60）？
• RQ3 合成数据在多大程度上缓解了鲸鱼检测中的假阴性问题，特别是对部分淹没或低能见度情况？
• RQ4 在混合真实-合成数据上训练的检测模型，其性能与在更大真实数据子集上训练的模型相比如何？
• RQ5 像SeaDroneSim2这样的仿真平台，能否有效实现从仿真到真实场景的迁移？

主要发现

• 仅使用10%真实鲸鱼数据集并辅以SeaDroneSim2生成的合成数据，DR50提升15.4%，DR60提升15.7%，相比仅使用真实数据训练有显著改善。
• 使用合成数据增强的FPN模型在DR60上达到0.551的得分，相比仅使用10%真实数据的基线提升了15.7%。
• 使用合成数据的Unet模型在DR50上达到0.71，比仅使用50%真实数据集训练的模型高出3.34%。
• 合成数据显著减少了假阴性，通过包含部分淹没的鲸鱼等具有挑战性的案例，而这些案例在仅使用真实数据训练的模型中常被遗漏。
• 当合成数据用于增强小规模真实数据集时，性能增益最为显著，表明具有极强的数据效率。
• 本研究证明，当仿真平台能够真实捕捉环境变化时，合成数据可有效弥合海洋目标检测中的仿真到真实域差距。