[论文解读] Underwater Image Enhancement via Learning Water Type Desensitized Representations

Zhenqi Fu, Xiaopeng Lin+3 more|arXiv (Cornell University)|Feb 1, 2021

Image Enhancement Techniques被引用 4

一句话总结

本文提出SCNet，一种基于U-Net的水下图像增强方法，通过联合空间与通道归一化学习对水体类型不敏感的表征。通过在空间维度上白化激活，并在通道维度上标准化并重新注入前两阶矩，SCNet在无需事先知晓水体类型的情况下，实现了在多种水体类型下的视觉质量与泛化性能的最先进水平。

ABSTRACT

We present a novel underwater image enhancement method termed SCNet to improve the image quality meanwhile cope with the degradation diversity caused by the water. SCNet is based on normalization schemes across both spatial and channel dimensions with the key idea of learning water type desensitized features. Specifically, we apply whitening to de-correlate activations across spatial dimensions for each instance in a mini-batch. We also eliminate channel-wise correlation by standardizing and re-injecting the first two moments of the activations across channels. The normalization schemes of spatial and channel dimensions are performed at each scale of the U-Net to obtain multi-scale representations. With such water type irrelevant encodings, the decoder can easily reconstruct the clean signal and be unaffected by the distortion types. Experimental results on two real-world underwater image datasets show that our approach can successfully enhance images with diverse water types, and achieves competitive performance in visual quality improvement.

研究动机与目标

• 解决由不同水体类型（如近岸、深海、浑浊水体）引起的水下图像退化多样性问题。
• 克服现有方法依赖水体类型先验知识或在多样化水体条件下泛化能力不足的局限。
• 提出一种数据驱动的方法，无需显式水体类型分类或多模型变体，即可提升图像质量。
• 通过在空间与通道维度上进行归一化，学习与外观和风格无关的表征，以提升泛化能力。

提出的方法

• 在每个小批量中应用实例白化，以消除空间维度上激活的关联性，降低空间层级对水体类型的依赖。
• 对通道维度上的激活进行标准化并重新注入前两阶矩（均值与方差），以消除通道间的相关性。
• 在U-Net编码器-解码器架构的每一尺度上集成空间与通道归一化，以学习多尺度、对水体类型不敏感的特征。
• 在最终的解码器模块中引入挤压-激励（SE）模块，以增强特征建模能力。
• 使用组合损失进行网络训练：L2（MSE）损失用于像素级重建，LPIPS损失用于感知质量，λ=0.1用于平衡两者。
• 利用真实世界数据集（UIEBD与RUIE）进行训练与评估，采用全参考指标（SSIM、PSNR、LPIPS）与定性分析。

实验结果

研究问题

• RQ1 基于归一化的方法是否能有效处理由不同水体类型引起的水下图像退化多样性？
• RQ2 在空间与通道维度上联合归一化是否相比标准归一化或无归一化，能产生更鲁棒、对水体类型不敏感的表征？
• RQ3 仅通过归一化模块增强的简单U-Net架构，是否能在水下图像增强任务中超越复杂、任务特定的网络设计？
• RQ4 所提方法在无参考图像的真实世界数据集（如RUIE）上是否具有良好的泛化能力？

主要发现

• 在UIEBD数据集上，SCNet实现了最高的SSIM（0.8625）、PSNR（22.0816）与最低的LPIPS（0.1936），优于六种SOTA方法，包括无模型、基于先验与数据驱动的方法。
• 消融实验表明，空间归一化（SN）与通道归一化（CN）均不可或缺，完整SCNet模型（SN + CN）表现最佳。
• SCNet在多种水下场景中均生成视觉自然且生动的结果，如UIEBD与RUIE数据集上的定性对比所示。
• 该方法在无参考图像的真实世界数据上泛化良好，如RUIE数据集上保持一致的增强质量所证实。
• 相比U-Net基线，性能显著提升：SSIM从0.8350提升至0.8625，PSNR从19.5114提升至22.0816，表明在结构与像素级保真度上均有显著改进。
• 结合LPIPS损失与MSE损失可提升感知质量，表现为更低的LPIPS分数与更自然的增强输出。