[论文解读] UWGAN: Underwater GAN for Real-world Underwater Color Restoration and Dehazing

Nan Wang, Yabin Zhou+3 more|arXiv (Cornell University)|Dec 21, 2019

Image Enhancement Techniques参考文献 16被引用 107

一句话总结

UWGAN 引入了一种无监督 GAN，用以从空中图像和深度图模拟真实水下效果，并使用 U-Net 自编码器实现端到端的水下色彩恢复与去雾，在单个 NVIDIA 1060 GPU 上实现高达 125 FPS。

ABSTRACT

In real-world underwater environment, exploration of seabed resources, underwater archaeology, and underwater fishing rely on a variety of sensors, vision sensor is the most important one due to its high information content, non-intrusive, and passive nature. However, wavelength-dependent light attenuation and back-scattering result in color distortion and haze effect, which degrade the visibility of images. To address this problem, firstly, we proposed an unsupervised generative adversarial network (GAN) for generating realistic underwater images (color distortion and haze effect) from in-air image and depth map pairs based on improved underwater imaging model. Secondly, U-Net, which is trained efficiently using synthetic underwater dataset, is adopted for color restoration and dehazing. Our model directly reconstructs underwater clear images using end-to-end autoencoder networks, while maintaining scene content structural similarity. The results obtained by our method were compared with existing methods qualitatively and quantitatively. Experimental results obtained by the proposed model demonstrate well performance on open real-world underwater datasets, and the processing speed can reach up to 125FPS running on one NVIDIA 1060 GPU. Source code, sample datasets are made publicly available at https://github.com/infrontofme/UWGAN_UIE.

研究动机与目标

• 通过数据高效的无监督 GAN 框架，推动真实世界水下图像的恢复与去雾。
• 提出改进的水下成像模型，以从空气中的图像与深度图对生成真实的水下图像。
• 采用基于 U-Net 的色彩恢复与去雾网络，在保留场景结构的合成水下数据上进行训练。
• 在真实水下数据集上展示相对于现有方法的定性与定量改进。
• 提供公开可用的代码和示例数据集，以促进进一步研究。

提出的方法

• 提出一种无监督 GAN，利用改进的水下成像模型，从空气中的图像和深度图生成真实的水下色彩失真和雾霾。
• 使用 U-Net 架构，在端到端自编码器框架中执行色彩恢复和去雾。
• 在合成水下数据集上高效训练，以保留场景内容和结构相似性。
• 通过在公开的水下数据集上进行评估并报告处理速度，展示实际应用性（在 NVIDIA 1060 GPU 上高达 125 FPS）。
• 公开发布源代码和示例数据集以促进可重复性。

实验结果

研究问题

• RQ1 一个无监督 GAN 是否能够利用改进的成像模型，从空气图像和深度图生成真实的水下失真和雾霾？
• RQ2 基于 U-Net 的自编码器是否能够在保持结构内容的同时有效地进行水下场景的色彩恢复和去雾？
• RQ3 所提出的 UWGAN 在真实水下数据集上进行定性和定量比较时的表现如何？
• RQ4 在常见硬件（如 NVIDIA GPU）上的实际处理速度是多少，以用于实时应用？

主要发现

• 所提出的无监督 GAN 能够从输入的空气图像和深度图生成真实的水下色彩失真与雾霾。
• U-Net 恢复网络在进行色彩恢复与去雾时保留场景结构。
• 定性与定量评估在真实水下数据集上显示出竞争性表现。
• 该方法在单个 NVIDIA 1060 GPU 上实现高达 125 FPS 的处理速度。
• 源代码和示例数据集公开可用，便于可重复性。],
• table_headers:
• table_headers: []
• table_rows: []