[论文解读] Non-aligned supervision for Real Image Dehazing

Junkai Fan, Fei Guo+4 more|arXiv (Cornell University)|Mar 8, 2023

Image Enhancement Techniques被引用 5

一句话总结

本文提出NSDNet，一种用于真实图像去雾的非对齐监督框架，通过利用未对齐的有雾与清晰图像对，结合多尺度参考损失训练去雾网络。通过使用暗通道先验引导的自注意力机制建模无限大气光，并通过通道注意力估计透射率，该方法在真实世界数据集上实现了最先进性能，包括一个包含415对手机拍摄图像的新基准数据集Phone-Hazy。

ABSTRACT

Removing haze from real-world images is challenging due to unpredictable weather conditions, resulting in the misalignment of hazy and clear image pairs. In this paper, we propose an innovative dehazing framework that operates under non-aligned supervision. This framework is grounded in the atmospheric scattering model, and consists of three interconnected networks: dehazing, airlight, and transmission networks. In particular, we explore a non-alignment scenario that a clear reference image, unaligned with the input hazy image, is utilized to supervise the dehazing network. To implement this, we present a multi-scale reference loss that compares the feature representations between the referred image and the dehazed output. Our scenario makes it easier to collect hazy/clear image pairs in real-world environments, even under conditions of misalignment and shift views. To showcase the effectiveness of our scenario, we have collected a new hazy dataset including 415 image pairs captured by mobile Phone in both rural and urban areas, called "Phone-Hazy". Furthermore, we introduce a self-attention network based on mean and variance for modeling real infinite airlight, using the dark channel prior as positional guidance. Additionally, a channel attention network is employed to estimate the three-channel transmission. Experimental results demonstrate the superior performance of our framework over existing state-of-the-art techniques in the real-world image dehazing task. Phone-Hazy and code will be available at https://fanjunkai1.github.io/projectpage/NSDNet/index.html.

研究动机与目标

• 为解决在真实场景中因时间、天气和视角变化导致难以获取完全对齐的有雾/清晰图像对的问题。
• 通过在监督学习中放宽对齐约束，同时减少合成与真实有雾图像之间的域偏移，提升去雾性能。
• 通过用由暗通道先验引导的可学习实值表示替代固定大气光，更准确地建模空间变化的无限大气光。
• 通过通道注意力机制增强透射率估计，以在三个通道中获得更好的特征表示。
• 通过新构建的真实世界数据集Phone-Hazy和在现有基准上的对比评估，证明非对齐监督的有效性。

提出的方法

• 该框架由三个相互关联的网络组成：去雾网络、大气光网络和透射率网络，均基于大气散射模型。
• 引入多尺度参考损失，用于比较去雾输出与非对齐清晰参考图像之间的特征表示，实现在无需像素级对齐条件下的监督。
• 基于均值和方差的自注意力机制用于建模无限大气光，同时利用暗通道先验作为位置引导以保持空间结构。
• 在透射率图估计中应用通道注意力模块，以自适应地加权三个颜色通道的特征。
• 去雾网络通过多尺度参考损失端到端训练，结合对抗性损失和上下文损失，以提升真实感和细节保持能力。
• 收集了一个新的真实世界数据集Phone-Hazy，包含415对由手机在城乡环境中拍摄的有雾/清晰图像对，用于验证该方法。

实验结果

研究问题

• RQ1 在使用未配对、未注册的有雾与清晰图像时，非对齐监督是否仍能实现有效的去雾性能？
• RQ2 与固定大气光假设相比，建模空间变化的无限大气光在多大程度上能提升去雾质量？
• RQ3 在非对齐设置下，基于特征级比较的多尺度参考损失在多大程度上优于像素级或分布级损失？
• RQ4 结合暗通道先验引导的自注意力机制是否能有效建模真实世界中的无限大气光变化？
• RQ5 在RTTS和Phone-Hazy等真实世界基准上，该方法与最先进模型相比表现如何？

主要发现

• 在Foggy Cityscapes合成数据集上，NSDNet实现了29.35的PSNR和0.96的SSIM，优于所有先前方法，包括SOTA模型如Dehamer和C2PNet。
• 在真实世界RTTS数据集上，NSDNet实现了0.7419的FADE和3.6905的NIQE，显著优于依赖真实标签监督的模型，如PMNet和DeHamer。
• 在Phone-Hazy和RTTS上的视觉对比显示，NSDNet产生的结果更清晰、更自然，伪影更少，细节恢复更好，优于RefineNet、D4、CDD-GAN和DAD。
• 消融研究证实，多尺度参考损失和自注意力大气光模块对性能至关重要，尤其在处理错位和复杂真实场景时表现突出。
• Phone-Hazy数据集证明了在放宽条件下的真实世界有雾/清晰图像对收集的可行性，为非对齐去雾框架的实际部署提供了支持。
• 视觉结果验证表明，该方法在多样化真实场景中泛化能力出色，包括城市道路和远距离有雾条件。