[论文解读] Structure Representation Network and Uncertainty Feedback Learning for Dense Non-Uniform Fog Removal

Yeying Jin, Wending Yan+2 more|arXiv (Cornell University)|Oct 6, 2022

Image Enhancement Techniques被引用 7

一句话总结

该论文提出了一种新颖的单图像去雾方法，用于处理密集且非均匀的雾气，采用带有不确定性反馈学习的结构表征网络。通过利用DINO-ViT特征进行场景结构恢复，并引入灰度特征乘数以减轻大气光影响，该方法通过突出显示密集雾区的不确定性图，迭代地优化输出，在真实世界中的密集非均匀雾图像上实现了最先进性能。

ABSTRACT

Few existing image defogging or dehazing methods consider dense and non-uniform particle distributions, which usually happen in smoke, dust and fog. Dealing with these dense and/or non-uniform distributions can be intractable, since fog's attenuation and airlight (or veiling effect) significantly weaken the background scene information in the input image. To address this problem, we introduce a structure-representation network with uncertainty feedback learning. Specifically, we extract the feature representations from a pre-trained Vision Transformer (DINO-ViT) module to recover the background information. To guide our network to focus on non-uniform fog areas, and then remove the fog accordingly, we introduce the uncertainty feedback learning, which produces the uncertainty maps, that have higher uncertainty in denser fog regions, and can be regarded as an attention map that represents fog's density and uneven distribution. Based on the uncertainty map, our feedback network refines our defogged output iteratively. Moreover, to handle the intractability of estimating the atmospheric light colors, we exploit the grayscale version of our input image, since it is less affected by varying light colors that are possibly present in the input image. The experimental results demonstrate the effectiveness of our method both quantitatively and qualitatively compared to the state-of-the-art methods in handling dense and non-uniform fog or smoke.

研究动机与目标

• 为解决密集且非均匀雾气带来的挑战，此类雾气严重降低背景场景信息，且现有方法难以有效处理。
• 克服在复杂多色雾条件下估计大气光的不可行性。
• 通过引入基于不确定性的反馈机制，指导迭代优化，提升低能见度区域的去雾性能。
• 通过多模态特征正则化减少幻觉现象，并在重度雾霾场景中保留结构细节。

提出的方法

• 使用DINO-ViT提取自监督的、具有结构感知能力的特征，以在密集雾气条件下保留场景几何结构和背景结构。
• 引入灰度特征乘数，将雾度退化与色彩变化解耦，提升对不同光源和散射光的鲁棒性。
• 采用不确定性反馈机制，生成突出显示高雾密度区域的不确定性图，作为动态注意力提示。
• 应用反馈网络，基于不确定性预测迭代优化去雾输出，聚焦于持续存在的雾区。
• 实施两种关键损失：基于DINO-ViT特征的结构一致性损失，以及对齐灰度与RGB特征表示的乘数一致性损失。
• 采用半监督方式训练模型，使用真实雾图和合成数据，避免依赖干净的真值标签。

实验结果

研究问题

• RQ1 自监督视觉变换器能否提升在密集非均匀雾气中的背景结构恢复能力？
• RQ2 不确定性图如何用于引导在持续雾区中的迭代去雾？
• RQ3 灰度特征表示能否降低在复杂雾况下对大气光变化的敏感性？
• RQ4 与标准CNN相比，多模态特征正则化（ViT + CNN）在多大程度上提升了去雾性能？
• RQ5 不确定性反馈学习是否能减少幻觉现象并改善重度退化雾图中的细节保留？

主要发现

• 所提方法在O-HAZE、NH-Haze和Dense-Haze基准上取得了最高的PSNR和SSIM分数，优于包括基于Transformer和CNN的最先进方法。
• 消融实验表明，若移除灰度乘数损失，性能显著下降，表明其在抑制色彩伪影方面具有关键作用。
• 若移除DINO-ViT结构一致性损失，结构保持性能变差，证明其在恢复场景几何结构方面的价值。
• 不确定性反馈网络显著提升了持续雾区的去雾效果，消融实验显示，若移除该模块，将残留雾气且清晰度下降。
• 仅使用MSE损失会导致输出过暗、过度处理，残留雾气且细节丢失，凸显了所提损失设计的必要性。