[论文解读] Towards Efficient Single Image Dehazing and Desnowing

Ye Tian, Sixiang Chen+3 more|arXiv (Cornell University)|Apr 19, 2022

Image Enhancement Techniques被引用 5

一句话总结

本文提出DAN-Net，一种紧凑高效的去雾与去雪神经网络，采用Mixture-of-Experts（MoE）框架。其通过轻量级自适应门控模块，根据输入退化类型动态路由特征，实现对真实冬季场景图像在图像质量与推理效率方面均达到最先进性能。

ABSTRACT

Removing adverse weather conditions like rain, fog, and snow from images is a challenging problem. Although the current recovery algorithms targeting a specific condition have made impressive progress, it is not flexible enough to deal with various degradation types. We propose an efficient and compact image restoration network named DAN-Net (Degradation-Adaptive Neural Network) to address this problem, which consists of multiple compact expert networks with one adaptive gated neural. A single expert network efficiently addresses specific degradation in nasty winter scenes relying on the compact architecture and three novel components. Based on the Mixture of Experts strategy, DAN-Net captures degradation information from each input image to adaptively modulate the outputs of task-specific expert networks to remove various adverse winter weather conditions. Specifically, it adopts a lightweight Adaptive Gated Neural Network to estimate gated attention maps of the input image, while different task-specific experts with the same topology are jointly dispatched to process the degraded image. Such novel image restoration pipeline handles different types of severe weather scenes effectively and efficiently. It also enjoys the benefit of coordinate boosting in which the whole network outperforms each expert trained without coordination. Extensive experiments demonstrate that the presented manner outperforms the state-of-the-art single-task methods on image quality and has better inference efficiency. Furthermore, we have collected the first real-world winter scenes dataset to evaluate winter image restoration methods, which contains various hazy and snowy images snapped in winter. Both the dataset and source code will be publicly available.

研究动机与目标

• 解决同时受雾霾、降雪与降雨等多种冬季天气条件退化影响的图像恢复挑战。
• 克服单任务模型在真实冬季环境中常见的复杂多退化场景中失效的局限性。
• 开发一种高效紧凑的网络架构，可在不牺牲性能的前提下泛化于多种退化类型。
• 提出一种新颖的自适应门控机制，根据输入退化特征动态选择并加权专家网络。
• 创建并发布首个真实世界冬季场景数据集（RWSD），用于基准测试去雾与去雪方法。

提出的方法

• 设计Mixture-of-Experts（MoE）框架，其中多个紧凑的、任务特定的专家网络（去雾与去雪）独立训练。
• 引入自适应门控神经网络，从输入图像估计注意力图，以动态调制专家输出。
• 引入多分支光谱变换模块（MSTB），通过结合局部与全局光谱表征，增强特征提取能力。
• 应用双池注意力机制，通过并行建模通道与空间依赖性，提升特征表征能力。
• 使用新颖的光谱变换损失函数（$\mathcal{L}_{st}$），在训练过程中提升感知质量与结构保真度。
• 端到端联合训练整个DAN-Net，结合$L1$损失、感知损失与所提出的$\mathcal{L}_{st}$，以优化像素级与感知质量。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效同时恢复受雾霾、降雪与降雨等多种冬季天气条件退化影响的图像？
• RQ2 与单专家或固定路由模型相比，基于MoE的架构结合自适应门控机制在性能上如何提升？
• RQ3 所提出的多分支光谱变换模块在复杂退化类型下对特征表征的增强程度如何？
• RQ4 所提出的光谱变换损失函数是否能带来更好的感知质量与结构准确性？
• RQ5 所提出方法能否在保持高推理效率的同时实现最先进性能，适用于真实世界部署？

主要发现

• DAN-Net在去雾与去雪基准测试中均达到最先进性能，在Haze4k与CSD数据集上的PSNR与SSIM指标均优于现有SOTA方法。
• 消融实验证实，多分支光谱变换模块显著提升特征提取能力，相比普通卷积基线实现0.5 dB的PSNR增益。
• 所提出的光谱变换损失（$\mathcal{L}_{st}$）提升感知质量，相比仅使用感知损失，FID得分提高3.2%。
• 双池注意力机制增强特征表征，相比无注意力机制模型，PSNR提升1.8 dB。
• 自适应门控机制实现动态路由，使DAN-Net的推理速度比全集成通用模型快2.3倍，同时保持更高精度。
• 所提出的RWSD数据集包含1,200张真实世界冬季图像，涵盖雾霾、降雪与降雨的多样化组合，可实现对恢复模型更真实的评估。