[论文解读] SCANet: Self-Paced Semi-Curricular Attention Network for Non-Homogeneous Image Dehazing

Yu Guo, Yuan Gao+5 more|arXiv (Cornell University)|Apr 17, 2023

Image Enhancement Techniques被引用 4

一句话总结

该论文提出SCANet，一种用于非均匀图像去雾的自步半课程注意力网络，通过创新的'注意力生成-场景重建'范式，增强在雾霾密集区域的特征提取能力。通过利用亮度感知的注意力图生成与自步半课程学习策略，SCANet在NTIRE基准测试中实现了最先进的性能，具有更优的收敛性与更低的学习模糊性，在PSNR与SSIM指标上均优于现有方法，同时保持较低的FLOPs与参数量。

ABSTRACT

The presence of non-homogeneous haze can cause scene blurring, color distortion, low contrast, and other degradations that obscure texture details. Existing homogeneous dehazing methods struggle to handle the non-uniform distribution of haze in a robust manner. The crucial challenge of non-homogeneous dehazing is to effectively extract the non-uniform distribution features and reconstruct the details of hazy areas with high quality. In this paper, we propose a novel self-paced semi-curricular attention network, called SCANet, for non-homogeneous image dehazing that focuses on enhancing haze-occluded regions. Our approach consists of an attention generator network and a scene reconstruction network. We use the luminance differences of images to restrict the attention map and introduce a self-paced semi-curricular learning strategy to reduce learning ambiguity in the early stages of training. Extensive quantitative and qualitative experiments demonstrate that our SCANet outperforms many state-of-the-art methods. The code is publicly available at https://github.com/gy65896/SCANet.

研究动机与目标

• 为解决非均匀雾霾带来的空间变化退化问题，如模糊、色彩失真与低对比度，特别是在复杂场景中。
• 提升去雾模型在高雾霾浓度与显著亮度变化区域的鲁棒性，这些区域往往是现有方法失效的区域。
• 通过引入用于注意力图生成的自步半课程学习策略，减少学习模糊性并提升训练过程中的收敛性。
• 设计一种轻量化但高效的网络架构，在高质量细节重建与计算效率之间实现良好平衡。

提出的方法

• 该方法采用双分支网络结构：注意力生成网络（AGN）用于生成对非均匀雾霾分布敏感的注意力图，场景重建网络（SRN）用于恢复无雾图像。
• 利用输入图像中的亮度差异来约束注意力图的生成，确保在强度变化显著的区域分配更高的注意力。
• 提出一种自步半课程学习（SCL）策略，使模型首先在较简单的样本上进行训练，从而降低多目标优化在早期训练阶段的学习模糊性。
• 采用多损失函数目标进行网络训练：特征上的L1损失（$\mathcal{L}_{sl1}^{f}$）、注意力图上的L1损失（$\mathcal{L}_{sl1}^{a}$）、感知损失（$\mathcal{L}_{p}$）、MS-SSIM损失（$\mathcal{L}_{\text{MS-SSIM}}$）以及对抗性损失（$\mathcal{L}_{a}$）。
• 通过$\mathcal{L}_{sl1}^{a}$对注意力图进行监督，防止对低重要性区域过度关注，从而提升重建保真度。
• 训练过程中仅在训练阶段使用真实标签注意力图（$M_{GT}$），推理阶段不使用，确保模型能够端到端地学习注意力图生成能力。

实验结果

研究问题

• RQ1 深度学习模型如何有效捕捉并利用真实场景中雾霾的非均匀分布特性？
• RQ2 在多目标优化的早期训练阶段，何种训练策略可减少学习模糊性并提升收敛性？
• RQ3 亮度感知的注意力监督是否能增强模型在高雾霾与高对比度区域重建纹理细节的能力？
• RQ4 自步半课程学习的集成如何提升非均匀去雾网络的性能与稳定性？
• RQ5 各组件——注意力生成、图像重建与损失函数——对整体去雾质量与效率的贡献分别是什么？

主要发现

• SCANet在NTIRE2020、NTIRE2021与NTIRE2023测试集的联合测试中，PSNR达到20.37，SSIM达到0.6933，两项指标均优于当前最先进方法。
• 消融实验表明，引入注意力生成网络（AGN）后，PSNR从18.84提升至19.29，证明其在非均匀去雾任务中的必要性。
• 引入自步半课程学习（SCL）策略后，PSNR从19.92提升至20.02，表明模型收敛性与性能得到改善。
• 完整模型（包含MS-SSIM与对抗性损失等所有损失函数）达到最高PSNR（20.37）与SSIM（0.6933），验证了多损失设计的有效性。
• SCANet的FLOP数量与参数量均低于同类模型，推理速度极快，单张1200×1600图像在RTX 3080 GPU上仅需0.1962秒。
• 在NTIRE2023测试集上的定性结果表明，SCANet能有效抑制密集雾霾区域的雾霾，同时保持自然的纹理与色彩，尤其在天空与高亮度区域表现优异。