[论文解读] Night Time Haze and Glow Removal using Deep Dilated Convolutional Network

Shiba Kuanar, K.R. Rao+2 more|arXiv (Cornell University)|Feb 3, 2019

Image Enhancement Techniques参考文献 36被引用 31

一句话总结

该论文提出了一种基于深度学习的DeGlow-DeHaze网络，通过空洞卷积和迭代架构联合去除夜间雾霾和耀光效应。在NYU深度数据集合成的雾霾图像上进行训练，该模型在图像质量与推理速度方面均优于当前最先进方法，有效处理非均匀照明白和有色光源问题。

ABSTRACT

In this paper, we address the single image haze removal problem in a nighttime scene. The night haze removal is a severely ill-posed problem especially due to the presence of various visible light sources with varying colors and non-uniform illumination. These light sources are of different shapes and introduce noticeable glow in night scenes. To address these effects we introduce a deep learning based DeGlow-DeHaze iterative architecture which accounts for varying color illumination and glows. First, our convolution neural network (CNN) based DeGlow model is able to remove the glow effect significantly and on top of it a separate DeHaze network is included to remove the haze effect. For our recurrent network training, the hazy images and the corresponding transmission maps are synthesized from the NYU depth datasets and consequently restored a high-quality haze-free image. The experimental results demonstrate that our hybrid CNN model outperforms other state-of-the-art methods in terms of computation speed and image quality. We also show the effectiveness of our model on a number of real images and compare our results with the existing night haze heuristic models.

研究动机与目标

• 解决单幅图像中夜间雾霾与耀光去除的病态问题。
• 处理夜间场景中多光源导致的非均匀照明白与色温变化问题。
• 开发一种深度学习框架，分别去除耀光与雾霾效应，以提升复原质量。
• 与现有基于启发式的方法相比，实现更快的计算速度与更高的图像保真度。
• 在合成与真实世界夜间图像上验证性能表现。

提出的方法

• 采用两阶段深度学习架构：首先通过DeGlow网络使用空洞卷积捕捉长距离上下文信息，去除耀光效应。
• 随后通过DeHaze网络利用基于NYU深度数据集推导的透射率图去除大气雾霾。
• 采用基于合成雾霾图像及其对应真实透射率图的迭代训练策略。
• 使用空洞卷积扩展感受野，同时不增加参数量，从而保持空间分辨率。
• 通过模拟光源与大气散射效应，基于NYU深度数据集生成合成雾霾图像。
• 通过端到端优化，使网络能够从雾霾输入中重建出高质量、无雾霾的图像。

实验结果

研究问题

• RQ1 深度学习模型能否有效同时分离并去除夜间场景中的耀光与雾霾效应？
• RQ2 空洞卷积的使用在低光照条件下如何提升对大范围耀光与雾霾模式的建模能力？
• RQ3 DeGlow-DeHaze架构在图像质量与推理速度方面，相较于现有基于启发式的方法，优势程度如何？
• RQ4 该模型在具有复杂光照与非均匀照明白的现实夜间图像上的泛化能力如何？
• RQ5 基于NYU深度数据集生成的合成训练数据，能否有效泛化至真实世界的夜间雾霾场景？

主要发现

• 所提出的DeGlow-DeHaze网络在合成与真实世界测试集上均取得高于当前最先进方法的PSNR与SSIM值。
• 与现有深度学习及基于启发式的方法相比，该模型表现出更快的推理速度。
• DeGlow网络显著减少了光源周围出现的光晕与耀光伪影，提升了视觉质量。
• DeHaze网络在非均匀照明白条件下仍能有效恢复雾霾区域的可见度。
• 视觉对比显示，与基线方法相比，该模型能更好地保留细节与纹理。
• 通过定性与定量评估验证，该模型在真实夜间场景中表现出良好的泛化能力。