[论文解读] Single Underwater Image Enhancement Using an Analysis-Synthesis Network

Zhengyong Wang, Liquan Shen+3 more|arXiv (Cornell University)|Aug 20, 2021

Image Enhancement Techniques参考文献 36被引用 9

一句话总结

本文提出了一种名为 ANA-SYN 的新型水下图像增强框架，通过分析-合成网络将学习到的先验知识与数据驱动特征相结合。通过引入改进的环境光合成方程以更真实地模拟水下数据集，并采用自适应加权模块和先验引导网络，ANA-SYN 在合成数据集和真实世界基准上均实现了最先进性能，显著提升了色彩校正与雾霾去除效果，同时保持了自然的图像质量。

ABSTRACT

Most deep models for underwater image enhancement resort to training on synthetic datasets based on underwater image formation models. Although promising performances have been achieved, they are still limited by two problems: (1) existing underwater image synthesis models have an intrinsic limitation, in which the homogeneous ambient light is usually randomly generated and many important dependencies are ignored, and thus the synthesized training data cannot adequately express characteristics of real underwater environments; (2) most of deep models disregard lots of favorable underwater priors and heavily rely on training data, which extensively limits their application ranges. To address these limitations, a new underwater synthetic dataset is first established, in which a revised ambient light synthesis equation is embedded. The revised equation explicitly defines the complex mathematical relationship among intensity values of the ambient light in RGB channels and many dependencies such as surface-object depth, water types, etc, which helps to better simulate real underwater scene appearances. Secondly, a unified framework is proposed, named ANA-SYN, which can effectively enhance underwater images under collaborations of priors (underwater domain knowledge) and data information (underwater distortion distribution). The proposed framework includes an analysis network and a synthesis network, one for priors exploration and another for priors integration. To exploit more accurate priors, the significance of each prior for the input image is explored in the analysis network and an adaptive weighting module is designed to dynamically recalibrate them. Meanwhile, a novel prior guidance module is introduced in the synthesis network, which effectively aggregates the prior and data features and thus provides better hybrid information to perform the more reasonable image enhancement.

研究动机与目标

• 为解决现有合成水下数据集在 RGB 通道间无法准确建模复杂环境光依赖关系的局限性。
• 通过将领域特定先验知识融入深度学习模型，降低对大规模真实训练数据的依赖。
• 通过根据输入图像特征动态校准多种先验（色彩色调、水体类型、结构）的重要性，提升图像增强效果。
• 构建一个统一框架，有效融合先验知识与数据驱动特征，实现鲁棒的水下图像恢复。
• 通过消融实验与对比研究，在合成与真实世界水下图像基准上验证框架的卓越性能。

提出的方法

• 提出一种改进的环境光合成方程，用于建模 RGB 强度值、水体类型、吸收/散射系数与物体深度之间的复杂关系。
• ANA-SYN 框架由分析网络（用于先验探索与自适应加权）和合成网络（用于先验融合与图像重建）构成。
• 自适应加权模块根据输入图像上下文重新校准每种先验（色彩色调、水体类型、结构）的重要性，提升特征判别能力。
• 提出一种新型先验引导模块，通过可学习融合机制聚合先验特征与数据特征，增强模型生成真实、高质量输出的能力。
• 采用多损失目标函数进行训练，结合 L1 损失、感知损失与对抗损失，以提升结构与色彩保真度。
• 基于改进的环境光模型构建了一个新的合成水下数据集，提供更真实的训练数据，更准确反映真实水下场景的外观特征。

实验结果

研究问题

• RQ1 能否通过改进的环境光合成方程，建模 RGB 通道与环境因素之间的依赖关系，从而生成更具真实感的水下训练数据？
• RQ2 与仅依赖数据驱动学习相比，整合多种领域特定先验（色彩色调、水体类型、结构）在水下图像增强中能带来多大提升？
• RQ3 自适应加权模块通过动态重新校准先验重要性，能在多大程度上提升模型性能与泛化能力？
• RQ4 所提出的先验引导模块在融合先验与数据特征方面，对图像恢复效果的提升有多显著？
• RQ5 ANA-SYN 框架是否在合成与真实世界水下图像基准上均优于现有最先进方法？

主要发现

• 通过改进的环境光方程生成的合成数据集，其图像在色彩、对比度与模糊特性方面与真实水下场景更为接近。
• ANA-SYN 框架在五个真实世界水下图像基准上达到最先进性能，分别在使用色彩色调、水体类型与结构先验时，相较基线模型平均提升 PSNR 0.733dB、SSIM 0.955dB 与 0.615dB。
• 自适应加权模块相比直接拼接或求和先验，性能提升 0.05–0.15dB，证明其在动态校准先验重要性方面的有效性。
• 先验引导模块增强了特征融合，生成结果更自然，UIQM 与 NIQE 评分均提升，证实其在生成真实增强效果中的关键作用。
• 训练过程中引入感知损失显著提升了视觉质量，表现为感知分数更高，且在真实基准上色彩还原更真实。
• ANA-SYN 在中等模型复杂度下实现卓越性能——参数量与 FLOPs 均少于 Ucolor 与 Water-Net，推理速度优于 UGAN，且在更小参数量下仍优于 FUIE-GAN。