[论文解读] Real-world Underwater Enhancement: Challenges, Benchmarks, and Solutions

Risheng Liu, Xin Fan+3 more|arXiv (Cornell University)|Jan 15, 2019

Image Enhancement Techniques参考文献 11被引用 25

一句话总结

本文提出了真实世界水下图像增强（RUIE）基准，这是一个大规模的真实水下图像数据集，包含四千多张图像，划分为三个子集，分别针对能见度、色彩校正和目标检测性能。该研究评估了11种最先进的算法在这些任务上的表现，结果表明没有单一方法在所有标准上均表现最优，其中UHLP_cb和BCCR_cb在目标检测准确率和感知质量方面表现更优。

ABSTRACT

Underwater image enhancement is such an important low-level vision task with many applications that numerous algorithms have been proposed in recent years. These algorithms developed upon various assumptions demonstrate successes from various aspects using different data sets and different metrics. In this work, we setup an undersea image capturing system, and construct a large-scale Real-world Underwater Image Enhancement (RUIE) data set divided into three subsets. The three subsets target at three challenging aspects for enhancement, i.e., image visibility quality, color casts, and higher-level detection/classification, respectively. We conduct extensive and systematic experiments on RUIE to evaluate the effectiveness and limitations of various algorithms to enhance visibility and correct color casts on images with hierarchical categories of degradation. Moreover, underwater image enhancement in practice usually serves as a preprocessing step for mid-level and high-level vision tasks. We thus exploit the object detection performance on enhanced images as a brand new task-specific evaluation criterion. The findings from these evaluations not only confirm what is commonly believed, but also suggest promising solutions and new directions for visibility enhancement, color correction, and object detection on real-world underwater images.

研究动机与目标

• 为解决当前缺乏大规模、多样化、真实世界水下图像基准以评估图像增强算法的问题。
• 克服现有数据集的局限性，如深度浅、光照单调，以及缺乏足够海洋生物以支持高层视觉任务。
• 不仅基于图像质量指标，还评估水下图像增强算法对下游目标检测性能的影响。
• 识别在真实水下条件下提升能见度、色彩校正和目标检测性能的最佳增强策略。
• 倡导新的评估范式，包括非参考质量评估和端到端学习框架，用于水下视觉任务。

提出的方法

• 构建多视角水下成像系统，在不同条件下捕获真实水下场景。
• 构建RUIE基准，包含4,000多张真实水下图像，划分为三个子集：UIQS（能见度）、UCCS（色彩偏差）和UHTS（目标检测）。
• 使用多种指标评估11种最先进的UIE算法：UCIQE和UIQM用于图像质量，mAP和检测数量用于目标检测。
• 使用真实水下图像训练和评估深度学习模型，包括集成物理先验与CNN的UHLP_cb和BCCR_cb。
• 采用联合评估框架，将低层次增强与中层次检测性能关联，使用mAP作为任务特定指标。
• 在不同层次的退化程度和多样的水下环境中进行系统性消融研究，以评估算法的鲁棒性。

实验结果

研究问题

• RQ1 在真实世界条件下，现有水下图像增强算法在不同能见度退化水平下的表现如何？
• RQ2 在多样的水下光照和水质条件下，增强算法在纠正色彩偏差方面的效果如何？
• RQ3 图像质量指标（如UCIQE、UIQM）与下游目标检测性能（mAP）之间是否存在强相关性？
• RQ4 哪种增强方法在能见度提升、色彩校正和目标检测准确率之间实现了最佳平衡？
• RQ5 真实水下图像能否作为水下视觉任务中端到端深度学习模型的有效训练数据？

主要发现

• 没有单一增强算法在所有评估标准上均表现最优，表明需要针对特定任务进行优化。
• UHLP_cb和BCCR_cb在UHTS子集上分别取得了最高的mAP（0.726和0.725），在目标检测准确率方面优于其他方法。
• UHLP_cb和BCCR_cb在UCIQE（4.28和4.31）和UIQM（10.21和10.18）方面也表现最佳，表明其具有更优的感知质量和图像清晰度。
• DCP、CLAHE和Fusion方法在色彩校正方面表现强劲，在UHTS数据集上的mAP值均超过0.72。
• 图像质量指标（UCIQE、UIQM）与mAP之间无强相关性，表明传统指标可能无法可靠预测检测性能。
• RUIE基准揭示，当前算法在复杂水下场景中表现不佳，尤其在深水或浑浊水域中，凸显了改进物理建模和联合学习框架的必要性。