[论文解读] Transmission Map and Atmospheric Light Guided Iterative Updater Network for Single Image Dehazing

Aupendu Kar, Sobhan Kanti Dhara+2 more|arXiv (Cornell University)|Aug 4, 2020

Image Enhancement Techniques参考文献 68被引用 10

一句话总结

本文提出了一种迭代先验更新去雾网络（IPUDN），通过迭代更新框架联合估计去雾图像、透射率图和通道级大气光。通过利用LSTM驱动的循环机制以及针对透射率和大气光的专用更新网络，IPUDN在多种雾霾条件下均提升了去雾性能，在合成数据集和真实世界数据集上均优于当前最先进方法。

ABSTRACT

Hazy images obscure content visibility and hinder several subsequent computer vision tasks. For dehazing in a wide variety of hazy conditions, an end-to-end deep network jointly estimating the dehazed image along with suitable transmission map and atmospheric light for guidance could prove effective. To this end, we propose an Iterative Prior Updated Dehazing Network (IPUDN) based on a novel iterative update framework. We present a novel convolutional architecture to estimate channel-wise atmospheric light, which along with an estimated transmission map are used as priors for the dehazing network. Use of channel-wise atmospheric light allows our network to handle color casts in hazy images. In our IPUDN, the transmission map and atmospheric light estimates are updated iteratively using corresponding novel updater networks. The iterative mechanism is leveraged to gradually modify the estimates toward those appropriately representing the hazy condition. These updates occur jointly with the iterative estimation of the dehazed image using a convolutional neural network with LSTM driven recurrence, which introduces inter-iteration dependencies. Our approach is qualitatively and quantitatively found effective for synthetic and real-world hazy images depicting varied hazy conditions, and it outperforms the state-of-the-art. Thorough analyses of IPUDN through additional experiments and detailed ablation studies are also presented.

研究动机与目标

• 为解决雾霾图像中可见度下降的问题，该问题会阻碍下游计算机视觉任务的执行。
• 通过联合估计去雾图像、透射率图和大气光，提升在多种雾霾条件下的去雾性能。
• 通过引入通道级大气光估计，减少去雾输出中的颜色偏差。
• 通过透射率图与大气光的迭代优化机制，提升估计精度。
• 建立一个统一的深度学习框架，将先验知识（透射率与光照）整合到去雾过程中。

提出的方法

• 该方法采用迭代更新框架，使透射率图与大气光在多个阶段中逐步优化。
• 提出一种新型卷积架构，用于估计通道级大气光，以更好地处理雾霾图像中的颜色偏差。
• 引入专用的更新网络，用于迭代优化透射率图与大气光的估计结果。
• 利用具有LSTM驱动循环结构的卷积神经网络来估计去雾图像，以建模迭代之间的依赖关系。
• 网络以端到端方式联合优化去雾图像、透射率图与大气光。
• 迭代机制逐步将先验估计值优化为更符合实际雾霾条件的表示。

实验结果

研究问题

• RQ1 对透射率图与大气光进行迭代优化，是否能提升在多种雾霾条件下的去雾性能？
• RQ2 通道级大气光估计对去雾图像的颜色保真度与颜色偏差减少有何影响？
• RQ3 通过LSTM循环机制引入迭代间依赖关系，能在多大程度上提升去雾质量？
• RQ4 与静态先验估计相比，所提出的更新网络在鲁棒性与准确性方面表现如何？
• RQ5 与解耦方法相比，联合优化去雾图像、透射率图与大气光是否能取得更优结果？

主要发现

• IPUDN在合成与真实世界雾霾图像基准测试中均优于当前最先进方法。
• 采用通道级大气光估计能有效减少去雾输出中的颜色偏差。
• 迭代更新机制使透射率图与大气光的估计结果逐步变得更加准确。
• LSTM驱动的循环机制通过建模迭代间依赖关系，提升了去雾质量。
• 消融实验验证了各组件的有效性，包括更新网络与联合优化策略。
• 该方法在多种雾霾条件（包括浓雾与轻雾）下均表现出强大的泛化能力。