[论文解读] SAPNet: Segmentation-Aware Progressive Network for Perceptual Contrastive Deraining

Shen Zheng, Changjie Lu+2 more|arXiv (Cornell University)|Nov 16, 2021

Image Enhancement Techniques被引用 4

一句话总结

SAPNet 提出了一种用于单图像去雨的分割感知渐进网络，结合了轻量级渐进空洞单元（PDU）以实现多尺度雨痕建模、无监督背景分割（UBS）以保留语义细节，以及感知对比损失（PCL）与学习到的感知相似性，使去雨结果在像素空间和感知空间均与真实值对齐。该方法在合成数据集和真实世界去雨基准上均达到最先进性能，显著提升了目标检测与语义分割的准确率。

ABSTRACT

Deep learning algorithms have recently achieved promising deraining performances on both the natural and synthetic rainy datasets. As an essential low-level pre-processing stage, a deraining network should clear the rain streaks and preserve the fine semantic details. However, most existing methods only consider low-level image restoration. That limits their performances at high-level tasks requiring precise semantic information. To address this issue, in this paper, we present a segmentation-aware progressive network (SAPNet) based upon contrastive learning for single image deraining. We start our method with a lightweight derain network formed with progressive dilated units (PDU). The PDU can significantly expand the receptive field and characterize multi-scale rain streaks without the heavy computation on multi-scale images. A fundamental aspect of this work is an unsupervised background segmentation (UBS) network initialized with ImageNet and Gaussian weights. The UBS can faithfully preserve an image's semantic information and improve the generalization ability to unseen photos. Furthermore, we introduce a perceptual contrastive loss (PCL) and a learned perceptual image similarity loss (LPISL) to regulate model learning. By exploiting the rainy image and groundtruth as the negative and the positive sample in the VGG-16 latent space, we bridge the fine semantic details between the derained image and the groundtruth in a fully constrained manner. Comprehensive experiments on synthetic and real-world rainy images show our model surpasses top-performing methods and aids object detection and semantic segmentation with considerable efficacy. A Pytorch Implementation is available at https://github.com/ShenZheng2000/SAPNet-for-image-deraining.

研究动机与目标

• 通过提升去雨模型的语义保留能力，弥合低层次图像恢复与高层视觉任务之间的差距。
• 克服现有去雨方法仅关注图像质量指标（如 PSNR、SSIM）而无法提升下游任务（如目标检测与分割）性能的局限性。
• 通过引入无监督背景分割减少对昂贵标注数据的依赖，实现在无需分割标注的情况下保留语义结构。
• 通过多尺度上下文建模与对比学习，提升对复杂光照条件与密集雨痕的真实世界雨天图像的泛化能力。
• 在保持高性能的同时，实现适用于移动设备与实时应用（如自动驾驶）的实时推理效率。

提出的方法

• 提出一种渐进空洞单元（PDU），通过逐层扩张的空洞卷积以参数高效的方式扩展感受野，实现对多尺度雨痕的有效捕捉，同时避免高计算开销。
• 引入无监督背景分割（UBS）网络，初始化采用 ImageNet 和高斯权重，实现在去雨过程中保留语义细节，且无需分割标注。
• 设计一种感知对比损失（PCL），在 VGG-16 特征空间中将雨天图像视为负样本，真实图像视为正样本，促使去雨结果在感知空间中与真实图像对齐。
• 将 PCL 与学习到的感知图像相似性损失（LPISL）结合，联合优化像素级保真度与感知真实感。
• 将去雨网络、UBS 网络与 VGG-16 主干网络整合为统一框架，通过对比学习与感知监督对齐特征表示。
• 采用端到端训练策略，在去雨任务上使用监督损失进行优化，同时通过 PCL 与 LPISL 提供额外的感知正则化。

Figure 2: User study score $\uparrow$ and inference time $\downarrow$ comparison. The user study score (1-5) is averaged from real-rainy datasets including Rain800, SIRR and MOSS. The average run time (inference time) is calculated on images with size 512 $\times$ 512 with a single NVIDIA RTX 2080 T

实验结果

研究问题

• RQ1 无监督背景分割是否能在无需分割标注的情况下提升去雨任务中的语义保留能力？
• RQ2 感知对比学习在超越标准像素级损失的基础上，能在多大程度上提升去雨图像的质量？
• RQ3 与标准或多尺度输入方法相比，渐进空洞单元（PDU）在多尺度雨痕建模方面有何改进？
• RQ4 一种针对感知相似性与对比对齐进行优化的去雨模型，是否能在下游高层视觉任务（如目标检测与语义分割）中带来可测量的性能提升？
• RQ5 所提方法是否能在合成与真实世界雨天数据集上均实现最先进性能，同时保持低推理时延与小模型尺寸？

主要发现

• 在 Rain100H 基准上，SAPNet 达到最高的 PSNR（29.45）与 SSIM（0.903），在两项指标上均优于所有先前最先进方法。
• 在真实世界 SIRR 数据集上，SAPNet 取得最佳 BRISQUE 得分（17.54），表明图像质量更优且失真更少。
• 在 MOSS 数据集上，SAPNet 取得最佳 UNIQUE 得分（1.05），证明其在多样天气与光照条件下的真实世界雨天图像中具有强大泛化能力。
• 在 COCO150 上的目标检测任务中，SAPNet 使 YOLOv3 成功检测到交通灯等小目标，而竞争模型如 DDN、Syn2Real 与 EffDerain 则会漏检。
• 在 CityScape150 上的语义分割任务中，SAPNet 生成的分割图最为准确，与真实标签高度一致；而 DDN 与 RESCAN 等模型则完全无法检测到如左侧车辆等完整物体。
• 消融实验证实，感知对比损失（PCL）显著提升性能，而 L1 对比损失则导致性能下降，证明感知层级对齐的必要性。

Figure 3: Model architecture for SAPNet. SAPNet joins a derain network for supervised rain removal, a segmentation network for unsupervised background segmentation, and a VGG-16 network for perceptual contrast. The rainy image first enters the derain network for rain removal, using the groundtruth a