[论文解读] Wavelet-based Fourier Information Interaction with Frequency Diffusion Adjustment for Underwater Image Restoration

Zhao Chen, Weiling Cai+2 more|arXiv (Cornell University)|Nov 28, 2023

Image Enhancement Techniques被引用 4

一句话总结

该论文提出WF-Diff，一种新颖的水下图像增强框架，通过小波域频域分析与扩散模型提升图像质量。通过离散小波变换将图像分解为低频和高频子带，该方法分离退化成分，并利用即插即用的频域残差扩散调节模块（FRDAM）实现频带特定的优化，从而在真实水下数据集上实现最先进性能。

ABSTRACT

Underwater images are subject to intricate and diverse degradation, inevitably affecting the effectiveness of underwater visual tasks. However, most approaches primarily operate in the raw pixel space of images, which limits the exploration of the frequency characteristics of underwater images, leading to an inadequate utilization of deep models' representational capabilities in producing high-quality images. In this paper, we introduce a novel Underwater Image Enhancement (UIE) framework, named WF-Diff, designed to fully leverage the characteristics of frequency domain information and diffusion models. WF-Diff consists of two detachable networks: Wavelet-based Fourier information interaction network (WFI2-net) and Frequency Residual Diffusion Adjustment Module (FRDAM). With our full exploration of the frequency domain information, WFI2-net aims to achieve preliminary enhancement of frequency information in the wavelet space. Our proposed FRDAM can further refine the high- and low-frequency information of the initial enhanced images, which can be viewed as a plug-and-play universal module to adjust the detail of the underwater images. With the above techniques, our algorithm can show SOTA performance on real-world underwater image datasets, and achieves competitive performance in visual quality.

研究动机与目标

• 解决现有水下图像增强（UIE）方法主要在像素空间操作且未能充分利用频域特征的局限性。
• 研究退化成分在频域中的分布特性，特别是识别出色彩失真主要编码于低频子带，而纹理损失则主要存在于高频子带。
• 开发一个统一框架，将频域分析与扩散模型相结合，以同时提升全局色彩保真度与局部纹理细节。
• 设计一种即插即用模块FRDAM，实现在小波域中对高频与低频成分的独立针对性优化，以提升恢复质量。

提出的方法

• 该框架采用基于小波的傅里叶信息交互网络（WFI2-net），在小波空间中实现频域交互，分别增强低频与高频分量。
• WFI2-net利用跨频带调节器（CFC）实现低频与高频子带之间的信息交换，提升表征学习能力。
• 频域残差扩散调节模块（FRDAM）在小波域中应用基于扩散的去噪方法，独立优化低频与高频分量，以恢复精细细节并校正色彩偏移。
• 采用多损失训练策略，包括L1重建损失、感知损失与幅度感知损失，以保持结构与语义一致性。
• 扩散过程在小波域中执行，而非像素空间，从而可聚焦于特定频带的优化，减少由非受控噪声采样引起的伪影。
• 该框架具有模块化设计：WFI2-net负责初始增强，FRDAM则作为通用后处理模块，进一步优化细节。

实验结果

研究问题

• RQ1 水下图像中退化成分（色彩偏移、模糊、噪声）在不同频带中的分布特性如何？
• RQ2 与像素空间方法相比，小波域频域分析是否能更有效地表征退化模式？
• RQ3 与在像素空间中应用扩散模型相比，在小波域中应用扩散模型是否能带来更好的恢复质量并减少伪影？
• RQ4 即插即用的频带特定扩散模块（FRDAM）能否有效独立优化高频与低频分量，从而提升图像细节与色彩保真度？

主要发现

• 消融实验证实，WFI2-net的所有组件——SFFB、WTB与CFC——均不可或缺，完整配置在UIEBD数据集上达到21.87 PSNR与0.8622 SSIM。
• 在WFI2-net中同时包含所有损失函数（Lh、Lrec、La、CFC）可获得最佳性能（21.87 PSNR，0.8622 SSIM），证明其协同效应。
• FRDAM显著提升性能：完整FRDAM（含低频与高频优化）达到23.86 PSNR，较标准扩散模型提升超过3 dB。
• 视觉结果表明，FRDAM能有效减少伪影与色彩失真，同时增强纹理细节，尤其在复杂水下场景中表现突出。
• 该方法在UIEBD与LSUI数据集上均实现最先进性能，FID（23.55）与LPIPS（0.0820）指标表现优异。
• 小波域扩散方法（FRDAM）优于像素空间扩散方法，波束基优化使PSNR提升达2.5 dB。