[论文解读] Perceptually Optimized Generative Adversarial Network for Single Image Dehazing

Yixin Du, Xin Li|arXiv (Cornell University)|May 3, 2018

Image Enhancement Techniques参考文献 14被引用 7

一句话总结

本文提出感知优化生成对抗网络（POGAN），一种用于单图像去雾的直接深度学习方法，通过深度残差网络学习端到端的非线性映射，绕过透射率图估计。该方法结合对抗训练与自适应感知损失，并引入引导滤波以抑制伪影，显著提升感知质量，同时在PSNR/SSIM指标上表现优异，尤其在不同雾霾条件和复杂深度不连续区域下表现突出。

ABSTRACT

Existing approaches towards single image dehazing including both model-based and learning-based heavily rely on the estimation of so-called transmission maps. Despite its conceptual simplicity, using transmission maps as an intermediate step often makes it more difficult to optimize the perceptual quality of reconstructed images. To overcome this weakness, we propose a direct deep learning approach toward image dehazing bypassing the step of transmission map estimation and facilitating end-to-end perceptual optimization. Our technical contributions are mainly three-fold. First, based on the analogy between dehazing and denoising, we propose to directly learn a nonlinear mapping from the space of degraded images to that of haze-free ones via recursive deep residual learning; Second, inspired by the success of generative adversarial networks (GAN), we propose to optimize the perceptual quality of dehazed images by introducing a discriminator and a loss function adaptive to hazy conditions; Third, we propose to remove notorious halo-like artifacts at large scene depth discontinuities by a novel application of guided filtering. Extensive experimental results have shown that the subjective qualities of dehazed images by the proposed perceptually optimized GAN (POGAN) are often more favorable than those by existing state-of-the-art approaches especially when hazy condition varies.

研究动机与目标

• 为解决基于透射率图的去雾方法存在的误差传播与感知优化不足等问题。
• 通过消除中间透射率图估计，实现单图像去雾中感知质量优化的端到端训练。
• 通过新型引导滤波应用，有效抑制深度不连续区域周围的类卤影伪影，该问题是去雾中的常见问题。
• 提升在多种雾霾条件下的鲁棒性与视觉质量，包括重度雾霾与夜间场景。
• 在定量指标（PSNR/SSIM）与主观视觉质量方面均达到最先进性能。

提出的方法

• 使用深度残差网络学习从有雾图像到无雾图像的直接非线性映射，将无雾图像视为递归残差学习的固定点。
• 引入生成对抗网络（GAN）框架，通过判别器提升去雾输出的感知质量。
• 采用自适应感知损失函数，根据有雾条件动态调整权重，以提升在不同雾霾密度下的泛化能力。
• 利用原始有雾图像作为引导，对递归学习得到的残差图像应用引导滤波，有效抑制深度不连续区域的卤影伪影。
• 端到端训练整个系统，无需中间透射率图估计，实现感知与结构保真度的联合优化。
• 采用递归残差学习机制，将生成器的输出反馈作为输入，实现向固定点解的迭代优化。

实验结果

研究问题

• RQ1 是否能够通过绕过透射率图估计的直接深度学习方法，在单图像去雾中实现优于传统基于模型或学习方法的感知质量？
• RQ2 在不同雾霾条件下，对抗训练结合自适应感知损失在提升去雾图像视觉质量方面的有效性如何？
• RQ3 引导滤波是否可被有效重用于抑制去雾图像中的类卤影伪影，特别是在大场景深度不连续区域？
• RQ4 在无需透射率图估计的情况下进行端到端训练，是否能提升在多样化真实世界雾霾场景中的鲁棒性与泛化能力？
• RQ5 所提方法在定量指标与主观视觉评估方面，相较于最先进方法的优越程度如何？

主要发现

• POGAN在复杂场景（如重度雾霾与大深度变化）下，主观视觉质量显著优于最先进方法。
• 在ImageSet A上，POGAN平均PSNR达21.82 dB，SSIM达0.896，在所有测试雾霾条件下均优于对比方法。
• 在ImageSet B上，POGAN平均PSNR达20.14 dB，SSIM达0.951，展现出在多样化真实世界场景中的强劲性能。
• 在真实世界图像（ImageSet C）上，POGAN在恢复色彩保真度与鲜艳度方面显著优于其他方法，尤其在人像、风景与建筑场景中表现突出。
• 自适应感知损失使模型在不同雾霾密度（β = 0.7 至 1.5）下保持一致性能，重度雾霾条件下平均PSNR为16.73 dB，SSIM为0.774。
• 引导滤波后处理有效减少了伪影，尤其在深度不连续区域，经视觉对比与残差分析验证。