[论文解读] Semantic Single-Image Dehazing

Ziang Cheng, Shaodi You+2 more|arXiv (Cornell University)|Apr 16, 2018

Image Enhancement Techniques参考文献 23被引用 15

一句话总结

本文提出了一种语义单图像去雾方法，通过利用高层语义特征推断自然颜色先验和环境光照，显著提升了在饱和天空和有色雾霾等复杂场景下的去雾性能。通过将语义上下文整合进深度卷积神经网络，该模型在合成数据集上取得了最先进（SOTA）的结果，并在视觉质量与色彩过饱和的鲁棒性方面优于先前方法。

ABSTRACT

Single-image haze-removal is challenging due to limited information contained in one single image. Previous solutions largely rely on handcrafted priors to compensate for this deficiency. Recent convolutional neural network (CNN) models have been used to learn haze-related priors but they ultimately work as advanced image filters. In this paper we propose a novel semantic ap- proach towards single image haze removal. Unlike existing methods, we infer color priors based on extracted semantic features. We argue that semantic context can be exploited to give informative cues for (a) learning color prior on clean image and (b) estimating ambient illumination. This design allowed our model to recover clean images from challenging cases with strong ambiguity, e.g. saturated illumination color and sky regions in image. In experiments, we validate our ap- proach upon synthetic and real hazy images, where our method showed superior performance over state-of-the-art approaches, suggesting semantic information facilitates the haze removal task.

研究动机与目标

• 通过引入高层语义先验来缓解单图像去雾的病态性问题，以减少干净图像估计中的歧义。
• 克服手工设计的低层先验所带来的局限性，这些先验常导致去雾结果出现过饱和和错误的颜色平衡。
• 提升在强雾霾、有色大气光和饱和天空区域等复杂情况下的性能。
• 证明语义理解可使去雾效果超越仅依赖低层图像特征的可能性。

提出的方法

• 该方法采用完全端到端的卷积神经网络，联合预测干净图像和环境光照，利用从输入雾霾图像中提取的语义特征。
• 语义先验从训练数据中学习，其中物体类别（如天空、植被）为自然颜色和光照提供了强线索。
• 模型使用一个颜色模块，将语义嵌入整合以优化颜色先验估计，提升对特定物体颜色恢复的置信度。
• 一个全局估计模块结合语义特征与低层特征，预测环境光照，减少对灰度大气光等假设的依赖。
• 网络在带有真实干净图像和环境光照标注的合成雾霾图像上进行训练，采用感知损失和重建损失。
• 消融研究通过隔离语义模块来验证其贡献，与输入真实光照的基线模型进行对比。

实验结果

研究问题

• RQ1 高层语义特征能否提升单图像去雾中颜色先验估计的准确性？
• RQ2 语义上下文在存在强烈色彩偏移时，如何增强环境光照的恢复？
• RQ3 与基于低层先验的方法相比，语义引导在多大程度上减少了过饱和和色彩失真？
• RQ4 在明亮表面或高度雾霾天空等模糊情况下，语义先验能否提升去雾性能？

主要发现

• 在testsetA上，所提方法的PSNR达到27.0827，SSIM达到0.9024，显著优于输入真实光照的基线模型（PSNR: 23.2918，SSIM: 0.7762）。
• 即使在严重雾霾和强烈色彩偏移条件下，该模型仍能成功恢复天空区域的自然颜色，而先前方法（如DCP）则产生过饱和、不自然的结果。
• 视觉对比显示，该模型产生的伪影更少，白平衡更优，尤其在有色雾霾的复杂场景中优于最先进方法。
• 消融研究证实语义特征至关重要：即使提供真实光照，缺乏语义引导的基线模型性能仍显著更差。
• 该方法在类似语义类别（如道路场景）的真实雾霾场景中泛化良好，尽管仅在合成数据上训练，仍能达到与SOTA方法相当的性能。