[论文解读] Oil Spill Drone: A Dataset of Drone-Captured, Segmented RGB Images for Oil Spill Detection in Port Environments

Thomas De Kerf, Seppe Sels+2 more|arXiv (Cornell University)|Feb 28, 2024

Oil Spill Detection and Mitigation被引用 4

一句话总结

本文介绍了Oil Spill Drone数据集，这是一个新颖的1,268张由无人机拍摄的RGB图像数据集，均来自港口环境，经过像素级标注，分为油污、水体和其他三类。使用U-Net模型进行训练后，该数据集在油污检测任务中实现了0.72的F1分数，证明了低成本、高分辨率RGB成像在复杂港口环境中实现自动化、及时油污检测的可行性。

ABSTRACT

The high incidence of oil spills in port areas poses a serious threat to the environment, prompting the need for efficient detection mechanisms. Utilizing automated drones for this purpose can significantly improve the speed and accuracy of oil spill detection. Such advancements not only expedite cleanup operations, reducing environmental harm but also enhance polluter accountability, potentially deterring future incidents. Currently, there's a scarcity of datasets employing RGB images for oil spill detection in maritime settings. This paper presents a unique, annotated dataset aimed at addressing this gap, leveraging a neural network for analysis on both desktop and edge computing platforms. The dataset, captured via drone, comprises 1268 images categorized into oil, water, and other, with a convolutional neural network trained using an Unet model architecture achieving an F1 score of 0.71 for oil detection. This underscores the dataset's practicality for real-world applications, offering crucial resources for environmental conservation in port environments.

研究动机与目标

• 为解决港口环境中缺乏公开可用的高分辨率RGB油污检测数据集的问题。
• 通过低成本无人机RGB成像技术，实现实时、自动化的油污检测，减少对卫星或SAR技术的依赖。
• 为港口管理部门提供一种实用且可部署的解决方案，实现30分钟内完成油污检测，最大限度减少环境与经济损失。
• 通过先进的图像修复与选择性模糊技术确保数据隐私，同时不损害模型性能。
• 为研究人员提供可复现的开源数据集与代码库，用于训练和验证油污检测模型。

提出的方法

• 在真实港口环境中使用高分辨率相机（Dronematrix YACOB和DJI Mavic2）进行无人机数据采集。
• 采用多专家标注流程并由项目负责人进行验证，以确保标注准确性。
• 应用先进的图像修复与选择性模糊技术，对敏感特征进行匿名化处理，同时保留油污检测的相关性。
• 训练基于U-Net的卷积神经网络，实现对油污、水体和其他类别的多类别语义分割。
• 使用标准指标（F1分数、精确率、召回率及交并比IoU）在独立的测试集与验证集上评估模型性能。
• 对匿名化与非匿名化数据集进行对比分析，验证隐私保护技术未降低模型性能。

实验结果

研究问题

• RQ1 在复杂港口环境中，无人机拍摄的RGB图像是否能有效实现高空间与时间分辨率的油污检测？
• RQ2 在真实港口条件下，基于本数据集训练的U-Net分割模型在油污、水体和其他类别上的性能表现如何？
• RQ3 隐私保护型图像匿名化技术（图像修复与模糊处理）在多大程度上影响油污检测模型的准确性？
• RQ4 低成本RGB无人机系统是否能在港口环境中对中小型油污实现优于传统卫星或SAR方法的检测效果？
• RQ5 所提出的数据集是否适合在边缘设备上部署，以实现实时、现场的油污检测？

主要发现

• U-Net模型在油污检测上的F1分数为0.72，水体为0.91，其他类别为0.75，表明在水体检测上表现优异，油污检测结果也可接受。
• 水体的交并比（IoU）得分为0.86，表明预测掩码与真实掩码之间的重叠准确度很高。
• 模型在水体检测上表现出高精确率（0.91）与高召回率（0.98），表明在复杂港口场景中能可靠识别水体。
• 通过图像修复与模糊处理实现的匿名化流程未降低模型性能，经验证匿名化与非匿名化数据集结果完全一致。
• 该数据集已公开获取，网址为 https://doi.org/10.5281/zenodo.10555314，完整代码与训练好的模型已发布于GitHub，确保可复现性。
• 尽管整体指标表现良好，模型偶尔会将水体误判为油污，表明在复杂场景中区分相似纹理或颜色渐变仍具挑战。