[论文解读] Rethinking Performance Gains in Image Dehazing Networks

Yuda Song, Yang Zhou+2 more|arXiv (Cornell University)|Sep 23, 2022

Image Enhancement Techniques被引用 47

一句话总结

本文提出了 gUNet，一种紧凑的 U-Net 变体用于图像去雾，使用门控式残差块和选择性核融合，在较低开销下实现出色性能，并通过对多个数据集的广泛消融验证。

ABSTRACT

Image dehazing is an active topic in low-level vision, and many image dehazing networks have been proposed with the rapid development of deep learning. Although these networks' pipelines work fine, the key mechanism to improving image dehazing performance remains unclear. For this reason, we do not target to propose a dehazing network with fancy modules; rather, we make minimal modifications to popular U-Net to obtain a compact dehazing network. Specifically, we swap out the convolutional blocks in U-Net for residual blocks with the gating mechanism, fuse the feature maps of main paths and skip connections using the selective kernel, and call the resulting U-Net variant gUNet. As a result, with a significantly reduced overhead, gUNet is superior to state-of-the-art methods on multiple image dehazing datasets. Finally, we verify these key designs to the performance gain of image dehazing networks through extensive ablation studies.

研究动机与目标

• 识别驱动图像去雾网络性能提升的关键架构设计。
• 开发一个轻量级去雾模型，在降低计算成本的同时保持或提高准确性。
• 分离注意力、激活函数和全局信息融合对去雾性能的影响。
• 在多个数据集上提供广泛的消融实验以验证设计选择。

提出的方法

• 用门控卷积（gConv）块替换 U-Net 中的标准卷积块。
• 使用深度可分离卷积在降低开销的同时保持表示能力。
• 引入 SK 融合，结合通道注意力动态融合跳过连接和主通路特征。
• 预测潜在的无雾图像残差并使用 L1 损失进行训练。
• 采用 SyncBN、FrozenBN、混合精度和 warmup 等训练策略以稳定和优化训练。

实验结果

研究问题

• RQ1 对 U-Net 的哪些最小设计更改可以在较低开销的前提下显著提升图像去雾性能？
• RQ2 门控机制和选择性核融合如何影响网络建模局部和全局信息以实现去雾？
• RQ3 消融组件（gConv、SK Fusion、通道注意力）在多个数据集上是否始终提升性能？
• RQ4 哪些训练策略最影响轻量级去雾网络的稳定性和最终精度？

主要发现

• gUNet 变体在多个数据集上实现优越的性能，且相比多数最先进方法具有明显更低的开销。
• 基于门控的块（gConv）在各数据集上相较于传统激活函数稳定地提升了性能，尽管在不同数据集之间存在一些差异。
• SK Fusion 对于有效地结合跳跃路径与主路径特征以及估计全局大气光强至关重要。
• 归一化策略（SyncBN）和训练时长显著影响稳定性和最终精度，较长的训练有时带来提升，但在较小数据集上可能导致过拟合。
• 在相同参数预算下，较深的配置通常优于更宽的配置，凸显深度是去雾模型的关键因素。