[论文解读] UDD: An Underwater Open-sea Farm Object Detection Dataset for Underwater Robot Picking.

Zhihui Wang, Chongwei Liu+7 more|arXiv (Cornell University)|Mar 3, 2020

Advanced Neural Network Applications参考文献 69被引用 13

一句话总结

本文提出UDD，首个用于水下机器人采摘的真实海洋牧场数据集，包含2,227张海参、海胆和扇贝的图像。为解决类别不平衡与小目标检测的挑战，提出Poisson GAN进行数据增强（生成含18,000张图像的AUDD数据集），并设计一种轻量级UnderwaterNet，结合多尺度特征融合与模糊采样机制，实现130万参数与48FPS推理速度，且无准确率损失。

ABSTRACT

To promote the development of underwater robot picking in sea farms, we propose an underwater open-sea farm object detection dataset called UDD. Concretely, UDD consists of 3 categories (seacucumber, seaurchin, and scallop) with 2227 images. To the best of our knowledge, it's the first dataset collected in a real open-sea farm for underwater robot picking and we also propose a novel Poisson-blending-embedded Generative Adversarial Network (Poisson GAN) to overcome the class-imbalance and massive small objects issues in UDD. By utilizing Poisson GAN to change the number, position, even size of objects in UDD, we construct a large scale augmented dataset (AUDD) containing 18K images. Besides, in order to make the detector better adapted to the underwater picking environment, a dataset (Pre-trained dataset) for pre-training containing 590K images is also proposed. Finally, we design a lightweight network (UnderwaterNet) to address the problems that detecting small objects from cloudy underwater pictures and meeting the efficiency requirements in robots. Specifically, we design a depth-wise-convolution-based Multi-scale Contextual Features Fusion (MFF) block and a Multi-scale Blursampling (MBP) module to reduce the parameters of the network to 1.3M at 48FPS, without any loss on accuracy. Extensive experiments verify the effectiveness of the proposed UnderwaterNet, Poisson GAN, UDD, AUDD, and Pre-trained datasets.

研究动机与目标

• 为解决水下机器人采摘应用中缺乏真实世界海洋牧场数据集的问题。
• 克服在浑浊、低能见度环境下检测大量、微小且类别不平衡的水下目标的挑战。
• 开发一种轻量级、高效的检测器，满足机器人系统对实时性能的要求。
• 构建大规模增强数据集（AUDD），以提升模型泛化能力与鲁棒性。
• 提供包含590,000张图像的预训练数据集，以增强水下目标检测的特征学习能力。

提出的方法

• 提出UDD，一个从真实海洋牧场采集的现实世界数据集，包含2,227张图像，涵盖三种物种：海参、海胆和扇贝。
• 提出Poisson GAN，一种新颖的生成对抗网络，通过嵌入泊松混合技术，实现逼真物体位置、尺寸与密度的合成。
• 利用Poisson GAN生成AUDD，一个包含18,000张图像的大规模增强数据集，以缓解类别不平衡与小目标稀缺问题。
• 设计UnderwaterNet，一种基于深度可分离卷积的轻量级目标检测网络，引入多尺度上下文特征融合（MFF）模块，以增强特征表征能力。
• 引入多尺度模糊采样（MBP）模块，在保持检测准确率的同时降低计算成本。
• 采用包含590,000张图像的预训练数据集初始化主干网络，提升水下检测的特征学习能力。

实验结果

研究问题

• RQ1 真实世界的开放式海洋牧场数据集能否提升水下机器人采摘系统的性能与泛化能力？
• RQ2 Poisson GAN在增强小目标与类别不平衡的水下数据集方面，是否能有效提升检测器的鲁棒性？
• RQ3 轻量级网络能否在低光照、浑浊的水下环境中实现高推理速度（48FPS）同时保持准确率？
• RQ4 在大规模水下图像集合上进行预训练，对UDD与AUDD上的检测性能提升程度如何？
• RQ5 MFF与MBP模块在水下目标检测中，对参数效率与检测准确率的贡献程度如何？

主要发现

• 所提出的UDD数据集是首个用于水下机器人采摘的真实世界开放式海洋牧场数据集，数据采集自实际养殖环境。
• Poisson GAN成功生成多样化且逼真的数据增强样本，将数据集规模扩展至18,000张图像（AUDD），显著提升模型鲁棒性。
• UnderwaterNet在仅130万个参数下实现48FPS的推理速度，展现出面向机器人实时部署的高效率。
• MFF模块增强了多尺度特征表征能力，而MBP模块在不损失检测准确率的前提下降低了模型复杂度。
• 大量实验证明，UDD、AUDD、Poisson GAN与预训练数据集的组合显著提升了所有基准测试中的检测性能。
• 590,000张图像的预训练数据集促进了更优的特征学习，从而在下游检测任务中实现更好的泛化能力。