[论文解读] SWIPENET: Object detection in noisy underwater images

Long Chen, Feixiang Zhou+6 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Neural Network Applications参考文献 36被引用 14

一句话总结

本文提出SWIPENET，一种具有多尺度超特征图的深度学习架构，用于提升在噪声水下图像中的小目标检测性能，同时结合一种新颖的课程多类别Adaboost（CMA）训练范式，通过逐步从简单样本到困难样本进行训练，增强模型对噪声的鲁棒性。该框架在四个水下数据集上实现了最先进（SOTA）的mAP性能，相较于现有方法在准确率和抗噪能力方面均有显著提升。

ABSTRACT

In recent years, deep learning based object detection methods have achieved promising performance in controlled environments. However, these methods lack sufficient capabilities to handle underwater object detection due to these challenges: (1) images in the underwater datasets and real applications are blurry whilst accompanying severe noise that confuses the detectors and (2) objects in real applications are usually small. In this paper, we propose a novel Sample-WeIghted hyPEr Network (SWIPENET), and a robust training paradigm named Curriculum Multi-Class Adaboost (CMA), to address these two problems at the same time. Firstly, the backbone of SWIPENET produces multiple high resolution and semantic-rich Hyper Feature Maps, which significantly improve small object detection. Secondly, a novel sample-weighted detection loss function is designed for SWIPENET, which focuses on learning high weight samples and ignore learning low weight samples. Moreover, inspired by the human education process that drives the learning from easy to hard concepts, we here propose the CMA training paradigm that first trains a clean detector which is free from the influence of noisy data. Then, based on the clean detector, multiple detectors focusing on learning diverse noisy data are trained and incorporated into a unified deep ensemble of strong noise immunity. Experiments on two underwater robot picking contest datasets (URPC2017 and URPC2018) show that the proposed SWIPENET+CMA framework achieves better accuracy in object detection against several state-of-the-art approaches.

研究动机与目标

• 解决水下环境中小目标检测与严重图像噪声的双重挑战。
• 在低能见度、低对比度和颜色失真的真实水下成像条件下，提升深度学习检测器的泛化能力和鲁棒性。
• 开发一种从简单样本到困难样本逐步学习的训练范式，减少噪声数据对模型收敛和性能的负面影响。
• 通过选择性集成策略，实现检测准确率与计算效率之间的平衡。

提出的方法

• SWIPENET采用主干网络生成多个高分辨率、语义丰富的超特征图，以增强对小目标的检测能力。
• 引入样本加权检测损失函数，优先学习高权重（更具信息量）样本，同时抑制训练过程中噪声或低质量样本的影响。
• 课程多类别Adaboost（CMA）训练范式包含两个阶段：第一阶段为去噪阶段，使用简单样本训练一个干净检测器；第二阶段为抗噪学习阶段，利用干净模型的知识蒸馏知识，对多种噪声样本训练多个检测器。
• 噪声学习阶段的检测器初始化参数来自干净检测器，以避免陷入不良局部极小值并加速收敛。
• 应用选择性集成算法，选取一组多样化且高性能的检测器，以平衡推理速度与检测准确率。
• 该框架融合了样本重加权与课程学习原理，受人类教育启发，显著提升了在复杂、噪声干扰的水下场景中的模型泛化能力。

实验结果

研究问题

• RQ1 具有多尺度超特征图的深度神经网络架构是否能显著提升小水下目标的检测性能？
• RQ2 样本加权损失函数如何增强模型在水下目标检测中对噪声训练样本的鲁棒性？
• RQ3 一种从简单样本到困难样本逐步推进的课程化训练策略，是否能提升在噪声水下数据集中的收敛性与泛化能力？
• RQ4 通过CMA训练的检测器集成是否能在真实水下数据集中，实现比单模型检测器更高的准确率与抗噪能力？

主要发现

• 在URPC2017数据集上，SWIPENET+CMA在8次训练迭代后达到52.5%的平均平均精度（mAP），显著优于SWIPENET+MA（39.8%）和SWIPENET+Curriculum（第3轮时为43.9%）。
• 在URPC2018数据集上，SWIPENET+CMA在第8轮达到68.0%的mAP，而SWIPENET+MA和SWIPENET+Curriculum分别下降至59.3%和63.8%，展现出更优的稳定性和性能。
• 在URPC2019数据集上，尽管数据噪声较少，SWIPENET+CMA仍以63.9%的mAP优于SWIPENET+MA（56.3%）和SWIPENET+Curriculum（60.8%），凸显其在小目标检测中的优势。
• 在中国MM数据集上，SWIPENET+CMA在8次迭代后达到85.5%的mAP，展现出在多样化水下场景和目标尺度下的强大泛化能力。
• CMA训练范式在所有数据集中均持续优于多类别Adaboost（MA）和课程学习（Curriculum），证明其在处理噪声数据和提升模型鲁棒性方面的有效性。
• 选择性集成策略有效平衡了检测准确率与推理速度，使该框架在真实水下无人潜航器（AUV）和遥控潜水器（ROV）应用中具备实际可行性。