[论文解读] UIEC^2-Net: CNN-based Underwater Image Enhancement Using Two Color Space

Yudong Wang, Jichang Guo+2 more|arXiv (Cornell University)|Mar 12, 2021

Image Enhancement Techniques参考文献 58被引用 16

一句话总结

本文提出UIEC^2-Net，一种基于CNN的新型水下图像增强方法，通过联合利用RGB与HSV色彩空间以提升性能。该方法结合了像素级RGB模块用于去噪与色偏消除，采用神经曲线层的全局调整HSV模块以优化亮度与饱和度，并引入注意力图模块实现自适应特征融合，从而在合成数据集与真实世界数据集上均取得了主观与客观评价的最先进结果。

ABSTRACT

Underwater image enhancement has attracted much attention due to the rise of marine resource development in recent years. Benefit from the powerful representation capabilities of Convolution Neural Networks(CNNs), multiple underwater image enhancement algorithms based on CNNs have been proposed in the last few years. However, almost all of these algorithms employ RGB color space setting, which is insensitive to image properties such as luminance and saturation. To address this problem, we proposed Underwater Image Enhancement Convolution Neural Network using 2 Color Space (UICE^2-Net) that efficiently and effectively integrate both RGB Color Space and HSV Color Space in one single CNN. To our best knowledge, this method is the first to use HSV color space for underwater image enhancement based on deep learning. UIEC^2-Net is an end-to-end trainable network, consisting of three blocks as follow: a RGB pixel-level block implements fundamental operations such as denoising and removing color cast, a HSV global-adjust block for globally adjusting underwater image luminance, color and saturation by adopting a novel neural curve layer, and an attention map block for combining the advantages of RGB and HSV block output images by distributing weight to each pixel. Experimental results on synthetic and real-world underwater images show the good performance of our proposed method in both subjective comparisons and objective metrics. The code are available at https://github.com/BIGWangYuDong/UWEnhancement.

研究动机与目标

• 解决现有基于CNN的水下图像增强方法仅依赖RGB色彩空间所带来的局限性，此类方法对亮度与饱和度特性的捕捉能力较差。
• 探索HSV色彩空间在基于深度学习的水下图像增强中的潜力，特别是其在图像亮度与饱和度等全局属性调整方面的优势。
• 设计一种混合网络架构，通过端到端可训练的注意力机制有效融合RGB与HSV处理的优势。
• 在具有挑战性的条件（如色偏与低对比度）下，同时提升图像的主观质量与客观质量度量指标。
• 为未来基于多色彩空间学习的水下图像色彩校正与增强研究提供新的基准。

提出的方法

• 网络采用无跳跃连接或池化操作的普通全卷积RGB像素级模块，专注于去噪与色偏消除等局部操作。
• 提出一种新型HSV全局调整模块，通过神经曲线层学习HSV空间中亮度与饱和度的全局调整曲线，实现更丰富的图像属性优化。
• 引入注意力图模块，通过学习每个像素的空间权重，动态融合来自RGB与HSV分支的输出，提升特征融合效果。
• 整个网络采用感知损失与重建损失相结合的方式端到端训练，注意力机制实现对RGB与HSV特征的自适应加权。
• 使用MSE损失进行模型优化，并通过全参考与无参考指标（包括PSNR、SSIM、UCIQE与UIQM）进行评估。
• 网络架构设计轻量化且高效，消融实验验证了各组件的贡献。

实验结果

研究问题

• RQ1 将HSV色彩空间整合到基于深度学习的水下图像增强框架中，是否能相比仅使用RGB的方法提升性能？
• RQ2 在HSV空间中使用神经曲线层，如何促进水下图像的全局亮度与饱和度调整？
• RQ3 注意力图模块在提升RGB与HSV特征输出融合效果方面，其作用程度如何，能否带来更优的视觉与定量结果？
• RQ4 所提出方法是否在真实世界与合成水下图像的主观与客观图像质量评估中均优于现有最先进方法？
• RQ5 HSV全局调整模块与注意力图模块在减少色偏与保留图像细节方面，具体贡献是什么？

主要发现

• UIEC^2-Net在真实世界水下图像上取得了最佳PSNR（24.5663 dB）与SSIM（0.9346），在全参考指标中全面超越所有对比方法。
• 该方法在UCIQE指标上得分最低（0.6193），UIQM指标得分最高（4.0790），表明在色彩、对比度与清晰度评估方面表现卓越。
• 消融实验表明，若移除HSV全局调整模块，性能显著下降，PSNR降至23.8228 dB，SSIM降至0.92849。
• 注意力图模块通过减轻HSV模块带来的过度处理伪影（如对比度与饱和度降低）并抑制噪声，提升了视觉质量。
• 该模型在UIQM与UISM评分上甚至优于参考图像，表明其感知质量已超越原始图像。
• 视觉结果表明，该方法能有效去除背景色偏，并更好地保留复杂水下场景中的细微纹理与细节。