[论文解读] Underwater Object Detection in the Era of Artificial Intelligence: Current, Challenge, and Future

Long Chen, Yuzhi Huang+6 more|arXiv (Cornell University)|Oct 8, 2024

Water Quality Monitoring Technologies被引用 4

一句话总结

本综述对基于人工智能的水下目标检测（UOD）进行了全面分析，按学习策略、数据集、特征和学习阶段对深度学习与传统机器学习方法进行分类。它识别出关键挑战——图像退化、小目标、噪声标签和类别不平衡，并利用标准化基准和两种新型分析工具（Diagnosis 和 TIDE）评估了最先进检测器，为未来研究提供了可操作的见解。

ABSTRACT

Underwater object detection (UOD), aiming to identify and localise the objects in underwater images or videos, presents significant challenges due to the optical distortion, water turbidity, and changing illumination in underwater scenes. In recent years, artificial intelligence (AI) based methods, especially deep learning methods, have shown promising performance in UOD. To further facilitate future advancements, we comprehensively study AI-based UOD. In this survey, we first categorise existing algorithms into traditional machine learning-based methods and deep learning-based methods, and summarise them by considering learning strategy, experimental dataset, utilised features or frameworks, and learning stage. Next, we discuss the potential challenges and suggest possible solutions and new directions. We also perform both quantitative and qualitative evaluations of mainstream algorithms across multiple benchmark datasets by considering the diverse and biased experimental setups. Finally, we introduce two off-the-shelf detection analysis tools, Diagnosis and TIDE, which well-examine the effects of object characteristics and various types of errors on detectors. These tools help identify the strengths and weaknesses of detectors, providing insigts for further improvement. The source codes, trained models, utilised datasets, detection results, and detection analysis tools are public available at \url{https://github.com/LongChenCV/UODReview}, and will be regularly updated.

研究动机与目标

• 系统性地对现有基于人工智能的水下目标检测方法（包括传统机器学习与深度学习方法）进行分类与分析。
• 识别并讨论UOD中的主要挑战，如图像退化、小目标检测、噪声标签和类别不平衡。
• 基于定量与定性分析，对主流检测框架在多个基准数据集上的表现进行评估。
• 引入并展示两种检测分析工具——Diagnosis 和 TIDE——在基于目标特征与错误类型的检测器弱点诊断中的实用性。
• 提供一个公开的、定期更新的代码库，包含源代码、模型、数据集和结果，以实现公平且可复现的基准测试。

提出的方法

• 根据学习策略、适用数据集、所用特征或框架以及学习阶段，对现有UOD方法进行分类。
• 使用标准化指标与对比分析，在多个基准数据集（如RUOD、DUO）上评估最先进检测器。
• 应用Diagnosis工具分析目标尺寸与宽高比对检测性能的影响。
• 使用TIDE框架评估不同错误类型（如背景错误、定位错误与漏检真实框）对检测器性能的影响。
• 将通用目标检测（GOD）中的解决方案与UOD中的方案进行比较，以识别研究空白并提出改进建议。
• 推荐高质量、大规模的基准数据集，以实现对新型UOD算法的公平且一致的评估。

Figure 1: Challenges such as (a) degraded image quality and small objects, (b) noisy labels, and (c) class imbalance in underwater object detection datasets significantly impair the performance of deep detection models. For instance, (c) highlights that the deep detector RepPoints [ 3 ] faces severe

实验结果

研究问题

• RQ1 不同的学习策略、网络架构和损失函数在多大程度上影响水下目标检测器的性能？
• RQ2 水下目标检测中的主要挑战是什么？它们与通用目标检测中的挑战有何不同？
• RQ3 目标尺寸、宽高比和图像质量退化在多大程度上影响不同模型的检测精度？
• RQ4 不同类型的错误（如背景错误、定位错误与漏检真实框）在不同检测器与数据集之间有何差异？
• RQ5 现有分析工具（如Diagnosis与TIDE）是否能有效识别模型弱点，并指导水下目标检测的未来改进？

主要发现

• 大多数检测器在超小（XS）和超宽（XW）目标上的表现显著下降，当目标尺寸或宽高比低于第10百分位数时，检测准确率大幅降低。
• 在RUOD数据集上，FoveaBox、Cascade R-CNN、RepPoints与ATSS等检测器表现出更高的背景错误与定位错误，主要由于严重的颜色失真与低对比度。
• 在DUO数据集上，背景错误更为明显，因图像模糊导致海参看起来像沙子，扇贝看起来像石头，从而引发误分类。
• RetinaNet产生更多分类错误，可能是因为焦点损失过度强调难以分类的样本，从而导致对较易样本的误分类。
• GridRCNN与DetectoRS表现出更高的漏检真实框率，这归因于其对基于网格的定位方式与复杂特征提取的依赖，导致在小目标或模糊目标上失效。
• 使用Diagnosis与TIDE工具发现，检测器在中等尺寸、正方形形状目标（1:1宽高比）上表现最佳，而极端宽高比下的性能显著下降，主要受限于方形卷积核与锚框设计。

Figure 2: The development of (a) AI in underwater object detection and (b) generic artificial intelligence.