[论文解读] Underwater image filtering: methods, datasets and evaluation

Chau Yi Li, Riccardo Mazzon+1 more|arXiv (Cornell University)|Dec 22, 2020

Image Enhancement Techniques参考文献 137被引用 11

一句话总结

本文全面综述了水下图像滤波方法，涵盖复原与增强技术，包括基于学习的方法。文章回顾了图像形成模型，针对不同水体类型评估了各类方法，提出了数据集的分类体系，并提出一个统一的评估框架，包含质量度量标准和一个公开平台（PUIQE），用于基准测试。

ABSTRACT

Underwater images are degraded by the selective attenuation of light that distorts colours and reduces contrast. The degradation extent depends on the water type, the distance between an object and the camera, and the depth under the water surface the object is at. Underwater image filtering aims to restore or to enhance the appearance of objects captured in an underwater image. Restoration methods compensate for the actual degradation, whereas enhancement methods improve either the perceived image quality or the performance of computer vision algorithms. The growing interest in underwater image filtering methods--including learning-based approaches used for both restoration and enhancement--and the associated challenges call for a comprehensive review of the state of the art. In this paper, we review the design principles of filtering methods and revisit the oceanology background that is fundamental to identify the degradation causes. We discuss image formation models and the results of restoration methods in various water types. Furthermore, we present task-dependent enhancement methods and categorise datasets for training neural networks and for method evaluation. Finally, we discuss evaluation strategies, including subjective tests and quality assessment measures. We complement this survey with a platform ( https://puiqe.eecs.qmul.ac.uk/ ), which hosts state-of-the-art underwater filtering methods and facilitates comparisons.

研究动机与目标

• 提供水下图像滤波方法的系统性综述，区分基于物理的复原（physics-based）方法与基于感知或任务驱动的增强（perception/task-driven）方法。
• 重新审视支撑光在水中衰减与散射的海洋学原理，将其与图像退化机制相联系。
• 对用于训练和评估基于深度学习的滤波方法的现有数据集进行分类与分析。
• 评估图像质量评估（IQA）度量标准的优缺点，包括主观测试与客观度量。
• 介绍PUIQE平台，用于实现水下图像滤波方法与评估度量的标准化比较。

提出的方法

• 提出一种基于物理的图像形成模型，考虑不同水体类型（如海洋型与海岸型，按Jerlov分类）中的选择性光衰减与散射。
• 将滤波方法分类为复原（例如，利用深度或偏振数据）与增强（例如，色彩校正、对比度调整）两类。
• 引入并评估三种关键的图像质量评估（IQA）度量：UIQM、UIConM与CCF，每种均结合色彩、对比度与清晰度分量。
• 在IQA度量计算中采用PLIP（感知线性图像处理）操作（⊕、⊖、⊗），以更好地匹配人类视觉感知。
• 开发PUIQE平台（https://puiqe.eecs.qmul.ac.uk/），用于托管最先进方法，并实现标准化的基准测试与比较。
• 采用64×64窗口的分块分析方法，计算对比度与雾密度，以模拟人类中央视觉的分辨能力，增强感知相关性。

实验结果

研究问题

• RQ1 不同水体类型（如海洋型与海岸型）如何影响光的衰减与水下成像中的图像退化？
• RQ2 与基于学习的增强技术相比，基于物理的复原方法的关键设计原则与局限性是什么？
• RQ3 现有图像质量评估度量（如UIQM、CCF）在水下视觉中与人类感知及任务表现的相关性如何？
• RQ4 哪些数据集最具代表性且在训练和评估基于深度学习的水下图像滤波模型方面最为有效？
• RQ5 如何建立一个标准化评估框架，以公平比较复原、增强与基于学习的方法？

主要发现

• UIQM度量结合UICM（色彩）、UIConM（对比度）与UISM（清晰度），与感知图像质量具有强相关性，数值越高表示质量越好。
• CCF度量整合了色彩丰富度、对比度与雾密度，表现出在雾霾与浑浊条件下评估图像质量的改进性能。
• 在复杂水下环境中，基于学习的方法优于传统滤波技术，尤其当在多样化、真实世界数据集上进行训练时。
• 主观评估对于验证IQA度量仍至关重要，因为仅靠客观度量可能无法完全反映感知质量。
• PUIQE平台实现了滤波方法的一致性与可复现性基准测试，凸显了不同数据集与度量标准下的性能差异。
• 研究表明，依赖深度或偏振数据的方法在复原精度方面表现更优，但受限于实际部署的挑战。