[论文解读] Towards Domain Invariant Single Image Dehazing

Pranjay Shyam, Kuk‐Jin Yoon+1 more|arXiv (Cornell University)|Jan 9, 2021

Image Enhancement Techniques参考文献 50被引用 6

一句话总结

本文提出了一种基于空间感知通道注意力机制和贪婪局部数据增强的领域不变单图像去雾框架，以处理非均匀雾分布问题。在利用低频和高频先验的双判别器对抗性框架中进行训练，该方法在真实数据集和合成数据集上均实现了最先进性能，展现出在多样化领域和雾密度下的鲁棒性。

ABSTRACT

Presence of haze in images obscures underlying information, which is undesirable in applications requiring accurate environment information. To recover such an image, a dehazing algorithm should localize and recover affected regions while ensuring consistency between recovered and its neighboring regions. However owing to fixed receptive field of convolutional kernels and non uniform haze distribution, assuring consistency between regions is difficult. In this paper, we utilize an encoder-decoder based network architecture to perform the task of dehazing and integrate an spatially aware channel attention mechanism to enhance features of interest beyond the receptive field of traditional conventional kernels. To ensure performance consistency across diverse range of haze densities, we utilize greedy localized data augmentation mechanism. Synthetic datasets are typically used to ensure a large amount of paired training samples, however the methodology to generate such samples introduces a gap between them and real images while accounting for only uniform haze distribution and overlooking more realistic scenario of non-uniform haze distribution resulting in inferior dehazing performance when evaluated on real datasets. Despite this, the abundance of paired samples within synthetic datasets cannot be ignored. Thus to ensure performance consistency across diverse datasets, we train the proposed network within an adversarial prior-guided framework that relies on a generated image along with its low and high frequency components to determine if properties of dehazed images matches those of ground truth. We preform extensive experiments to validate the dehazing and domain invariance performance of proposed framework across diverse domains and report state-of-the-art (SoTA) results.

研究动机与目标

• 解决由于领域差异和非均匀雾分布导致的合成数据集与真实世界去雾数据集之间的性能差距。
• 通过将感受野扩展至标准卷积核之外，提升特征一致性与结构保真度。
• 通过基于频率的先验进行对抗性训练，确保在多样化雾密度和未见领域中的泛化能力。
• 克服先前方法在合成数据生成中依赖手工设计先验或假设雾分布均匀的局限性。
• 通过端到端可学习架构，实现最先进去雾性能与强领域不变性。

提出的方法

• 采用基于UNet的编码器-解码器架构，以捕捉多尺度特征并重建无雾图像。
• 引入空间感知通道注意力（SATA）模块，以增强超越标准卷积核固定感受野的特征表示。
• 应用贪婪局部数据增强（GLDA），通过将噪声图像中的图像块复制到干净图像上，合成非均匀雾。
• 在基于先验引导的生成对抗性框架中训练网络，分别使用低频（LF）和高频（HF）分量的独立判别器。
• 利用LF和HF分量作为先验，指导判别器区分真实去雾图像与生成图像，从而促进颜色与结构的一致性。
• 通过结合L1损失、感知损失与对抗损失的联合优化目标，提升生成图像的真实感与保真度。

实验结果

研究问题

• RQ1 基于深度学习的去雾模型是否能在包括非均匀与真实世界条件在内的多样化雾分布中保持一致性能？
• RQ2 空间感知通道注意力在增强超越标准卷积核感受野的特征表示方面效果如何？
• RQ3 贪婪局部数据增强在提升合成训练数据中非均匀雾模式泛化能力方面有多显著？
• RQ4 在对抗性框架中引入基于频率的先验（LF与HF分量）是否能改善去雾输出的结构与颜色一致性？
• RQ5 与标准GAN或单判别器设置相比，双判别器（LF与HF）的集成是否能带来更好的领域不变性？

主要发现

• 在NTIRE-18基准测试中，所提方法达到24.14的PSNR与0.80的SSIM，优于所有先前方法，包括最先进基线。
• 在Haze-RD数据集（代表分布外测试集）上，方法保持21.42的PSNR与0.81的SSIM，显著优于性能下降至16以下的强基线。
• 消融实验表明，结合GLDA、SATA、MSFA与双判别器后，在NTIRE-19上达到19.47的PSNR与0.75的SSIM，在SOTS-IN上达到38.91的PSNR与0.98的SSIM，展现出卓越性能与鲁棒性。
• 与简单判别器相比，引入基于LF与HF先验的判别器使PSNR提升3.45、SSIM提升0.03，证实其在保持结构与颜色保真度方面的重要作用。
• 视觉分析表明，所提方法能更彻底地去除雾霾，同时保留物体结构与颜色，而先前方法常残留雾霾或扭曲纹理。
• 框架在未见领域中具有有效泛化能力，NTIRE-18与Haze-RD上表现一致，验证了其领域不变性。