[论文解读] Restoring Vision in Hazy Weather with Hierarchical Contrastive Learning

Tao Wang, Guangpin Tao+5 more|arXiv (Cornell University)|Dec 22, 2022

Image Enhancement Techniques被引用 4

一句话总结

该论文提出了一种新型图像去雾方法——分层对比去雾（HCD），通过分层交互模块增强特征融合，并引入分层对比损失（HCL）以联合优化正样本与负样本的表示。HCD在SOTS、HazeRD和DENSE-HAZE数据集上实现了最先进性能，PSNR提升最高达+1.14 dB，且SSIM和LPIPS指标优于先前方法。

ABSTRACT

Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a hierarchical interaction module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.

研究动机与目标

• 为解决现有基于深度学习的去雾方法在利用分层特征方面不足且缺乏面向负样本的监督的问题。
• 通过在CNN架构中融合浅层与深层的多尺度特征，提升特征表示能力。
• 通过引入一种新型分层对比损失（HCL），利用正样本对与负样本对，提升模型泛化能力与重建质量。
• 在合成数据集与真实世界数据集上，实现PSNR、SSIM及感知质量方面的优越去雾性能。

提出的方法

• 所提出的分层去雾网络（HDN）集成了分层特征提取器、分层交互模块（HIM）以及多输出图像重建模块，以实现多分辨率特征融合。
• HIM通过将高层语义特征反向传播至浅层以抑制噪声，并将低层细节注入深层以获得更丰富的表示，实现双向特征优化。
• 设计了一种分层对比损失（HCL），旨在最大化正样本对（如干净图像与其去雾版本）之间的相似性，同时最小化负样本对（如雾霾输入与干净图像）之间的差异性，覆盖网络的多个层级。
• HCL基于分层配对的样本实例运行，使模型能够通过对比不同尺度的特征，学习到更鲁棒的表示。
• 模型采用重建损失与HCL联合训练，实现端到端优化，从而同时提升像素级保真度与感知质量。
• 当将HCL迁移至其他最先进网络（如GridDehazeNet、FFA-Net、MSBDN和AECR-Net）时，其在PSNR与SSIM指标上均表现优异，证明了其通用性。

实验结果

研究问题

• RQ1 在多个尺度上进行分层特征融合是否能提升去雾性能（以PSNR与SSIM衡量）？
• RQ2 通过对比损失引入面向负样本的学习，是否能增强模型区分雾霾成分与干净内容的能力？
• RQ3 分层对比损失策略是否能在标准监督之外，进一步提升去雾网络中的特征表示能力？
• RQ4 所提出的HCD方法在合成与真实世界去雾基准测试中，与最先进方法相比表现如何？
• RQ5 所提出的HCL损失是否具有跨不同网络架构的通用性？

主要发现

• 在SOTS数据集的室内子集上，HCD实现了+1.14 dB的PSNR增益，在室外子集上实现了+0.45 dB的增益，显著优于先前最先进方法。
• 在HazeRD数据集上，HCD实现了+0.83 dB的PSNR提升；在DENSE-HAZE数据集上，相比现有方法提升了+0.61 dB。
• 在感知指标方面，HCD在SOTS数据集上实现了最低的LPIPS分数0.0416，表明其在感知质量上优于基线方法。
• 当将HCL应用于GridDehazeNet与FFA-Net等现有网络时，PSNR最高提升1.08 dB，SSIM提升0.0051，证明其具备良好的泛化能力。
• 消融实验表明，即使不加速收敛，HCL也能显著提升测试PSNR，证明其在表示学习中的有效性。
• 视觉对比显示，HCD生成的图像更清晰、更明亮，且伪影更少，优于MPP与OSFD等最先进方法。