[论文解读] Underwater Image Restoration via Contrastive Learning and a Real-world Dataset

Junlin Han, Mehrdad Shoeiby+8 more|arXiv (Cornell University)|Jun 20, 2021

Image Enhancement Techniques被引用 5

一句话总结

本文提出了一种新颖的无监督水下图像增强方法CWR，利用对比学习和一个真实世界数据集（HICRD），在无需成对训练数据的情况下，提升了图像清晰度、色彩保真度和对比度。该方法通过在基于生成对抗网络的图像到图像翻译模型中采用对比学习框架，最大化原始图像与恢复图像之间的互信息，实现了最先进性能，并在基于实测水体参数生成的物理上准确的参考图像的大规模数据集上进行了验证。

ABSTRACT

Underwater image restoration is of significant importance in unveiling the underwater world. Numerous techniques and algorithms have been developed in the past decades. However, due to fundamental difficulties associated with imaging/sensing, lighting, and refractive geometric distortions, in capturing clear underwater images, no comprehensive evaluations have been conducted of underwater image restoration. To address this gap, we have constructed a large-scale real underwater image dataset, dubbed `HICRD' (Heron Island Coral Reef Dataset), for the purpose of benchmarking existing methods and supporting the development of new deep-learning based methods. We employ accurate water parameter (diffuse attenuation coefficient) in generating reference images. There are 2000 reference restored images and 6003 original underwater images in the unpaired training set. Further, we present a novel method for underwater image restoration based on unsupervised image-to-image translation framework. Our proposed method leveraged contrastive learning and generative adversarial networks to maximize the mutual information between raw and restored images. Extensive experiments with comparisons to recent approaches further demonstrate the superiority of our proposed method. Our code and dataset are publicly available at GitHub.

研究动机与目标

• 为解决由于缺乏真实世界数据集和准确参考图像，导致水下图像恢复领域缺乏全面基准测试的问题。
• 开发一种稳健的无监督深度学习方法，无需成对训练数据即可恢复水下图像。
• 通过利用基于实测水体参数的物理水下成像模型，生成精确的参考恢复图像，从而提升图像质量。
• 通过大规模、真实世界数据集与真实参考图像，实现对恢复方法的公平且客观的评估。
• 通过公开提供代码和数据集，推动无监督和监督水下图像恢复领域的未来发展。

提出的方法

• 构建HICRD数据集，包含6,003张原始水下图像和2,000张基于实测的衰减系数（Kd）及水体参数生成的参考恢复图像。
• 开发CWR（对比水下恢复）框架，一种基于生成对抗网络（GAN）的无监督图像到图像翻译模型。
• 采用对比学习以最大化原始图像与恢复图像表征之间的互信息，从而在无成对监督下增强特征对齐。
• 采用孪生网络架构学习原始图像与恢复图像之间的共享表征，通过对比损失函数优化特征相似性。
• 在未配对的HICRD子集上进行训练，以实现从原始图像到恢复图像的端到端恢复映射学习。
• 将来自水下成像模型的物理先验知识融入恢复过程，提升结果的真实感与准确性。

实验结果

研究问题

• RQ1 是否可以通过包含物理上准确参考图像的大规模真实世界水下图像数据集，实现对恢复方法更可靠的基准测试？
• RQ2 在缺乏成对训练数据的情况下，对比学习是否能有效对齐原始图像与恢复图像之间的特征？
• RQ3 所提出的CWR方法在视觉质量与定量指标方面是否优于现有的无监督和监督水下图像恢复技术？
• RQ4 在真实世界环境中，诸如衰减系数（Kd）等物理参数在多大程度上提升了参考恢复图像的准确性？
• RQ5 在使用真实数据集时，CWR方法在全参考与非参考评估指标下的表现如何？

主要发现

• HICRD数据集包含6,003张原始图像和2,000张参考恢复图像，为水下图像恢复提供了大规模、基于物理的基准。
• CWR方法在性能上优于传统方法（如DCP、UDCP和红通道先验），在色彩保真度和对比度方面表现更优。
• CWR在全参考与非参考指标上均优于最先进学习型恢复方法，表明其具备强大的泛化能力与真实感。
• 对比学习显著增强了原始图像与恢复图像之间特征的对齐，实现了无需成对数据的有效无监督训练。
• 利用实测水体参数（Kd）生成参考图像，相比依赖假设或估计参数的方法，能产生更准确、更符合物理规律的恢复结果。
• 所提方法在多种水下场景中表现出强鲁棒性，尤其在珊瑚礁环境下的色彩与对比度恢复方面表现优异。