[论文解读] Real-world Underwater Enhancement: Challenging, Benchmark and Efficient Solutions.

Risheng Liu, Minjun Hou+2 more|arXiv (Cornell University)|Jan 15, 2019

Image Enhancement Techniques参考文献 46被引用 5

一句话总结

本文提出了一个名为真实水下图像增强（RUIE）的数据集，这是一个大规模基准数据集，其水下图像按退化程度和色彩偏差进行分层分类。该研究使用非参考质量度量评估了最先进的增强算法，并提出在增强图像上进行目标检测的性能作为一项新型任务特定评估标准，揭示了水下图像增强中的关键局限性及新的研究方向。

ABSTRACT

Underwater image enhancement is an important low-level vision task with many applications, and numerous algorithms have been proposed in recent years. Despite the demonstrated success, these results are often generated based on different assumptions using different datasets and metrics. In this paper, we propose a large-scale Realistic Underwater Image Enhancement (RUIE) dataset, in which all degraded images are divided into multiple sub-datasets according to natural underwater image quality evaluation metric and the degree of color deviation. Compared with exiting testing or training sets of realistic underwater scenes, the RUIE dataset contains three sub-datasets, which are specifically selected and classified for the experiment of non-reference image quality evaluation, color deviation and task-driven detection. Based on RUIE, we conduct extensive and systematic experiments to evaluate the effectiveness and limitations of various algorithms, on images with hierarchical classification of degradation. Our evaluation and analysis demonstrate the performance and limitations of state-of-the-art algorithms. The findings from these experiments not only confirm what is commonly believed, but also suggest new research directions. More importantly, we recognize that underwater image enhancement in practice usually serves as the preprocessing step for mid-level and high-level vision tasks. We thus propose to exploit the object detection performance on the enhanced images as a brand-new `task-specific' evaluation criterion for underwater image enhancement algorithms.

研究动机与目标

• 为解决水下图像增强缺乏标准化、真实的基准问题，创建一个大规模、多样化的数据集。
• 系统性地评估现有增强算法在不同图像退化水平和色彩偏差下的表现。
• 识别当前最先进算法在真实水下条件下存在的局限性。
• 提出一种基于下游任务性能（特别是目标检测）的新评估范式，以实现更实用的算法评估。
• 通过算法行为的实证分析，揭示未来研究中尚未充分探索的方向。

提出的方法

• 通过收集真实水下图像，并根据自然图像质量度量和色彩偏差水平，将图像划分为三个子数据集来构建RUIE数据集。
• 图像按层级进行分类，以实现对退化严重程度和色彩失真程度的可控评估。
• 建立综合评估框架，使用非参考图像质量评估和下游目标检测性能作为评估指标。
• 系统性地在RUIE子数据集上测试最先进增强算法，分析其在不同退化水平下的表现。
• 将增强图像上的目标检测准确率用作实际应用效用的代理指标，引入一种任务特定的评估标准。
• 进行统计分析，比较子数据集间算法性能，并识别出一致的失效模式。

实验结果

研究问题

• RQ1 最先进的水下图像增强算法在不同退化水平和色彩偏差下表现如何？
• RQ2 非参考图像质量度量在多大程度上与真实应用场景中的下游任务性能相关？
• RQ3 当在真实、多样的水下图像分布上评估时，当前增强算法存在哪些一致的局限性？
• RQ4 在增强图像上进行目标检测的准确率能否作为水下图像增强的可靠且有意义的评估标准？
• RQ5 通过在分层退化水平上系统评估算法性能，会浮现哪些新的研究方向？

主要发现

• RUIE数据集表明，现有增强算法在不同退化水平间往往难以泛化，尤其是在严重色彩偏差情况下表现不佳。
• 仅靠非参考图像质量度量不足以预测实际性能，因为其与下游任务准确率的相关性不强。
• 在某些增强方法下，增强图像上的目标检测性能显著且一致地提升，验证了其作为任务特定评估标准的有效性。
• 许多最先进的算法在高色彩偏差图像上表现出性能下降，表明需要更鲁棒的色彩恢复技术。
• 本研究发现，当前算法常对某些区域过度增强，而对其他区域校正不足，导致视觉质量与任务性能不一致。
• RUIE数据集的分层分类使对算法行为的分析更加细致，揭示了此前被忽视的失效模式。