[论文解读] Single Image Haze Removal using a Generative Adversarial Network

N. Bharath Raj, N. Venkateswaran|arXiv (Cornell University)|Oct 22, 2018

Image Enhancement Techniques参考文献 25被引用 20

一句话总结

本文提出了一种基于生成对抗网络（GAN）的端到端方法，用于单张图像去雾，采用改进的Tiramisu网络作为生成器，并使用基于图像块的判别器以减少伪影。混合加权损失函数提升了感知质量，在合成和真实世界雾霾图像上均实现了最先进性能。

ABSTRACT

Traditional methods to remove haze from images rely on estimating a transmission map. When dealing with single images, this becomes an ill-posed problem due to the lack of depth information. In this paper, we propose an end-to-end learning based approach which uses a modified conditional Generative Adversarial Network to directly remove haze from an image. We employ the usage of the Tiramisu model in place of the classic U-Net model as the generator owing to its higher parameter efficiency and performance. Moreover, a patch based discriminator was used to reduce artefacts in the output. To further improve the perceptual quality of the output, a hybrid weighted loss function was designed and used to train the model. Experiments on synthetic and real world hazy images demonstrates that our model performs competitively with the state of the art methods.

研究动机与目标

• 为了解决由于缺少深度信息而导致的单张图像去雾问题的病态性质。
• 开发一种端到端的基于学习的方法，绕过透射率图估计。
• 提升去雾输出的感知质量并减少伪影。
• 在合成和真实世界雾霾图像上均实现具有竞争力的性能。
• 在GAN框架中利用Tiramisu架构的参数效率和性能优势，用于去雾任务。

提出的方法

• 生成器基于Tiramisu网络，因其具有高参数效率和强大的特征学习能力而被选用。
• 采用基于图像块的判别器，以增强局部真实性并减少去雾输出中的纹理伪影。
• 混合加权损失函数结合了内容损失、对抗损失和感知损失，以提升视觉质量。
• 模型在条件GAN设置下端到端训练，直接将雾霾图像映射为去雾图像。
• 使用Tiramisu生成器替代标准U-Net，以提升性能并减少参数量。
• 训练结合了L1损失、对抗损失和感知损失，以平衡保真度与真实感。

实验结果

研究问题

• RQ1 基于GAN的方法是否能有效去除单张图像中的雾霾，而无需依赖深度信息？
• RQ2 与U-Net相比，使用Tiramisu网络作为生成器是否能在去雾任务中提升性能和效率？
• RQ3 基于图像块的判别器是否能减少伪影并提升去雾输出的局部图像质量？
• RQ4 与标准损失函数相比，混合损失函数在多大程度上提升了感知质量？
• RQ5 该方法在真实世界和合成雾霾图像上的表现与最先进方法相比如何？

主要发现

• 所提方法在合成和真实世界雾霾图像数据集上均实现了具有竞争力的性能。
• 使用Tiramisu生成器相比U-Net，实现了更好的参数效率和更优的特征表示能力。
• 基于图像块的判别器显著减少了纹理伪影，并提升了局部图像质量。
• 混合加权损失函数增强了感知质量，使去雾图像看起来更加自然。
• 该模型在真实世界雾霾图像上表现出强大的泛化能力，在视觉质量上优于多个现有方法。
• 该方法已通过WiSPNET 2020会议的评审并获准展示，相关GitHub仓库持续更新。