[论文解读] RoIMix: Proposal-Fusion among Multiple Images for Underwater Object Detection

Weihong Lin, Jia-Xing Zhong+3 more|arXiv (Cornell University)|Nov 8, 2019

Advanced Neural Network Applications参考文献 28被引用 16

一句话总结

RoIMix 提出了一种新颖的提案级数据增强方法，通过融合多张水下图像的区域提议，模拟重叠、遮挡和模糊的物体，显著提升了目标检测性能。其在 URPC 上实现了 1.18% 的 mAP 提升，在 Pascal VOC 上实现了 0.8% 的提升，同时增强了对噪声和模糊的稳定性和鲁棒性。

ABSTRACT

Generic object detection algorithms have proven their excellent performance in recent years. However, object detection on underwater datasets is still less explored. In contrast to generic datasets, underwater images usually have color shift and low contrast; sediment would cause blurring in underwater images. In addition, underwater creatures often appear closely to each other on images due to their living habits. To address these issues, our work investigates augmentation policies to simulate overlapping, occluded and blurred objects, and we construct a model capable of achieving better generalization. We propose an augmentation method called RoIMix, which characterizes interactions among images. Proposals extracted from different images are mixed together. Previous data augmentation methods operate on a single image while we apply RoIMix to multiple images to create enhanced samples as training data. Experiments show that our proposed method improves the performance of region-based object detectors on both Pascal VOC and URPC datasets.

研究动机与目标

• 解决因能见度差和沉积物导致的重叠、遮挡和模糊水下物体检测难题。
• 提升基于区域的目标检测器在标准增强方法失效的复杂水下环境中的一般化能力。
• 通过引入图像间提案级融合，克服单图像数据增强的局限性。
• 开发一种方法，以增强模型在噪声或退化水下图像上的训练和推理过程中的稳定性和鲁棒性。

提出的方法

• 提出 RoIMix，一种在多张图像之间进行提案级混合而非图像级混合的数据增强技术。
• 从多张水下图像中提取区域提议，并基于可学习的混合系数 α 进行混合，以保持空间和类别层面的一致性。
• 在提案级别应用混合操作，确保融合后的提议保持准确的边界框和类别信息，避免图像级混合中常见的错位问题。
• 通过不同图像提议的加权组合，模拟水下场景中典型的现实遮挡和模糊情况。
• 将 RoIMix 集成到 Faster R-CNN 及其变体的训练流程中，支持使用增强样本进行端到端训练。
• 通过生成多样化且逼真的训练样本，利用邻域风险最小化原理，使模型更好地泛化到真实世界的水下条件。

实验结果

研究问题

• RQ1 跨多张图像的提案级融合是否能提升对重叠、遮挡和模糊水下物体的检测性能？
• RQ2 与传统的单图像数据增强相比，图像间提案混合在水下数据集上的模型泛化能力如何？
• RQ3 RoIMix 是否增强了水下目标检测中训练的稳定性和对噪声与模糊的鲁棒性？
• RQ4 RoIMix 在通用（Pascal VOC）和领域特定（URPC）目标检测基准上的性能提升程度如何？

主要发现

• RoIMix 在 URPC 数据集上实现了 1.18% 的 mAP 提升，显著优于基线模型和现有增强方法。
• 在 Pascal VOC 数据集上，RoIMix 实现了 0.8% 的 mAP 提升，证明其在通用目标检测基准上的有效性。
• 该方法减少了过拟合，表现为训练过程中 mAP 曲线更加稳定，其在 URPC 上的最大提升幅度达到 2.04%。
• RoIMix 提升了对人工噪声的鲁棒性，在五种噪声类型下，与基线相比最大 mAP 差距为 9.05%。
• 该方法在模糊测试样本上表现更优，当应用高斯模糊时，mAP 相较于基线提升了 0.7%。
• RoIMix 在 URPC 2019 离线目标识别挑战赛中助力团队获得第一名，验证了其在真实场景中的有效性。