[论文解读] Multi-Scale Boosted Dehazing Network with Dense Feature Fusion

Hang Dong, Jinshan Pan+5 more|arXiv (Cornell University)|Apr 28, 2020

Image Enhancement Techniques参考文献 59被引用 63

一句话总结

本文提出 MSBDN-DFF，一种基于 U-Net 的除雾网络，使用 SOS 增强和受反向投影启发的密集特征融合，在多个雾霾图像基准上超越现有方法。

ABSTRACT

In this paper, we propose a Multi-Scale Boosted Dehazing Network with Dense Feature Fusion based on the U-Net architecture. The proposed method is designed based on two principles, boosting and error feedback, and we show that they are suitable for the dehazing problem. By incorporating the Strengthen-Operate-Subtract boosting strategy in the decoder of the proposed model, we develop a simple yet effective boosted decoder to progressively restore the haze-free image. To address the issue of preserving spatial information in the U-Net architecture, we design a dense feature fusion module using the back-projection feedback scheme. We show that the dense feature fusion module can simultaneously remedy the missing spatial information from high-resolution features and exploit the non-adjacent features. Extensive evaluations demonstrate that the proposed model performs favorably against the state-of-the-art approaches on the benchmark datasets as well as real-world hazy images.

研究动机与目标

• 为 priors 不可靠的多样场景设计鲁棒的除雾。
• 设计一个将提升（boosting）与误差反馈相结合的网络，用于渐进式去雾。
• 开发一个密集特征融合模块，以跨尺度恢复空间细节。

提出的方法

• 在解码器中结合 Strengthen-Operate-Subtract (SOS) 增强，以渐进式地恢复无雾图像。
• 引入基于反向投影的 Dense Feature Fusion (DFF) 模块，用于融合多尺度特征并恢复空间信息。
• 采用带跳跃连接和残差组的编码器–解码器（U-Net）架构进行特征恢复。
• 使用均方误差损失端到端训练 MSBDN-DFF。
• 在 RESIDE、HazeRD、以及 NTIRE2018-dehazing 数据集上进行评估，并与现有方法进行比较。

实验结果

研究问题

• RQ1 解码器中基于 SOS 的提升是否能比非提升解码器提升除雾质量？
• RQ2 基于密集反向投影的特征融合是否能有效结合多尺度信息以在有雾图像中保留空间细节？
• RQ3 与其他端到端除雾网络相比，MSBDN-DFF 在标准基准上的性能如何？
• RQ4 DFF 模块对保留高频细节和利用非相邻特征的影响如何？

主要发现

• 在基准数据集的定性和定量评估中，MSBDN-DFF 优于若干现有的除雾方法。
• SOS 增强解码器相对于基线和替代提升策略提供了显著改进。
• DFF 模块有效地保留空间信息并利用非相邻特征，从而获得更高的恢复质量。
• 消融研究表明提升和密集特征融合都对性能提升有显著贡献。
• 基于 KITTI 的雾数据集的感知评估表明去雾图像的目标检测性能有所提升。