[论文解读] Reveal of Domain Effect: How Visual Restoration Contributes to Object Detection in Aquatic Scenes

Xingyu Chen, Yue Lu+3 more|arXiv (Cornell University)|Mar 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用 27

一句话总结

本文通过分析基于滤波的（FRS）和基于生成对抗网络的（GAN-RS）复原方法生成的质量多样数据域，研究了视觉复原对水下场景目标检测的影响。研究发现，尽管复原并未因召回效率低下而提升域内检测准确率，但能显著减少训练数据与真实世界场景之间的域偏移，因此在水下环境中实现鲁棒的在线机器人感知至关重要。

ABSTRACT

Underwater robotic perception usually requires visual restoration and object detection, both of which have been studied for many years. Meanwhile, data domain has a huge impact on modern data-driven leaning process. However, exactly indicating domain effect, the relation between restoration and detection remains unclear. In this paper, we generally investigate the relation of quality-diverse data domain to detection performance. In the meantime, we unveil how visual restoration contributes to object detection in real-world underwater scenes. According to our analysis, five key discoveries are reported: 1) Domain quality has an ignorable effect on within-domain convolutional representation and detection accuracy; 2) low-quality domain leads to higher generalization ability in cross-domain detection; 3) low-quality domain can hardly be well learned in a domain-mixed learning process; 4) degrading recall efficiency, restoration cannot improve within-domain detection accuracy; 5) visual restoration is beneficial to detection in the wild by reducing the domain shift between training data and real-world scenes. Finally, as an illustrative example, we successfully perform underwater object detection with an aquatic robot.

研究动机与目标

• 理解数据域质量（具体而言，低质量与高质量水下图像）对目标检测性能的影响。
• 研究通过FRS和GAN-RS实现的视觉复原在提升真实世界水下机器人感知中目标检测性能的作用。
• 分析在域内与跨域检测场景下的域效应，尤其关注域偏移与模型泛化能力。
• 通过水下机器人评估复原在真实世界水下目标检测中的有效性。
• 揭示在质量多样的数据域下，基于CNN的检测器中域选择性与召回效率的内在机制。

提出的方法

• 基于URPC2018数据集，使用FRS（基于滤波）和GAN-RS（基于生成对抗网络）复原方法构建质量多样的数据域。
• 在多个数据域（原始O、FRS处理F、GAN-RS处理G）上训练并评估单阶段目标检测器（SSD、RetinaNet、RefineDet、DRN）。
• 执行域内与跨域检测评估，分析不同数据质量水平下的性能差异。
• 在自然海床环境（中国大连金石滩）下，使用水下机器人开展真实世界在线目标检测实验。
• 通过训练域与真实世界测试场景在Lab颜色空间中的分布对比，分析域偏移。
• 采用DRN512-VGG16作为检测主干网络，并比较在O、F、G域上训练的模型，以及在线应用对应复原流程的模型性能。

实验结果

研究问题

• RQ1 数据域质量（低质量 vs. 高质量）如何影响水下场景中的域内目标检测准确率与特征表示？
• RQ2 视觉复原对水下目标检测中跨域泛化性能有何影响？
• RQ3 当低质量数据域与高质量数据域在单一训练过程中混合时，能否有效学习？
• RQ4 为何尽管图像质量得到提升，视觉复原仍未能提高域内检测准确率？
• RQ5 视觉复原在多大程度上减少了训练数据与真实世界水下场景之间的域偏移？

主要发现

• 在充分训练后，域质量对域内卷积特征表示与检测准确率的影响可忽略不计，表明高质量图像在相同域内并不天然提升模型性能。
• 低质量域在跨域检测中表现出更强的泛化能力，表明在退化数据上训练的模型更能适应未见的真实世界场景。
• 当低质量域与高质量域在单一训练过程中混合时，低质量域学习效果差，表明基于CNN的检测器具有强烈的域选择性。
• 视觉复原对提升域内检测准确率而言是徒劳的，尽管图像质量提升，但其降低了召回效率并增加了误报。
• 视觉复原对真实世界水下目标检测至关重要，因为它能有效减少训练数据与真实世界场景之间的域偏移，如GAN-RS处理的在线数据与G域在Lab颜色空间中具有高度重叠所证实。
• 在真实世界机器人实验中，基于GAN-RS处理数据训练的模型（DRN512-VGG16-G）在召回率与精确率上显著优于在原始或FRS处理数据上训练的模型，证实了复原在缓解域偏移方面的实际效益。