[论文解读] Semi-DerainGAN: A New Semi-supervised Single Image Deraining Network

Yanyan Wei, Zhao Zhang+5 more|arXiv (Cornell University)|Jan 23, 2020

Image Enhancement Techniques参考文献 32被引用 21

一句话总结

该论文提出Semi-DerainGAN，一种基于半监督GAN的去雨网络，通过共享的半监督雨痕学习器（SSRML）和成对判别器，联合利用合成雨图与真实雨图，以提升模型泛化能力。该方法在真实世界图像上实现最先进性能，尤其有效缓解了合成与真实雨痕模式之间的域偏移问题。

ABSTRACT

Removing the rain streaks from single image is still a challenging task, since the shapes and directions of rain streaks in the synthetic datasets are very different from real images. Although supervised deep deraining networks have obtained impressive results on synthetic datasets, they still cannot obtain satisfactory results on real images due to weak generalization of rain removal capacity, i.e., the pre-trained models usually cannot handle new shapes and directions that may lead to over-derained/under-derained results. In this paper, we propose a new semi-supervised GAN-based deraining network termed Semi-DerainGAN, which can use both synthetic and real rainy images in a uniform network using two supervised and unsupervised processes. Specifically, a semi-supervised rain streak learner termed SSRML sharing the same parameters of both processes is derived, which makes the real images contribute more rain streak information. To deliver better deraining results, we design a paired discriminator for distinguishing the real pairs from fake pairs. Note that we also contribute a new real-world rainy image dataset Real200 to alleviate the difference between the synthetic and real image do-mains. Extensive results on public datasets show that our model can obtain competitive performance, especially on real images.

研究动机与目标

• 解决单图去雨中合成与真实雨图之间的域差距问题。
• 提升模型泛化能力，以处理训练中未见的多样化雨痕形状与方向。
• 构建统一框架，有效利用有标签的合成数据与无标签的真实雨图。
• 通过增强从真实数据中学习的特征，减少真实世界去雨中的过去雨与过去滤波伪影。
• 贡献一个新的真实世界雨图数据集Real200，以更好地评估和训练真实域数据。

提出的方法

• 提出一种共享参数的半监督雨痕学习器（SSRML），在有监督与无监督训练过程中共享参数，以提取一致的雨痕表征。
• 集成一种成对判别器，用于区分真实图像对（雨图与真实图像）与生成的假图像对，提升生成图像的保真度与结构一致性。
• 使用合成数据（带真实标签）与真实雨图（无标签）联合训练模型，利用特征学习的一致性。
• 采用类似循环一致性损失的损失函数，促使生成器将输入雨图重建为清晰输出，同时保留结构细节。
• 应用对抗训练，结合Wasserstein GAN损失，以稳定训练过程并提升图像质量。
• 在新引入的Real200数据集上对模型进行微调，以增强真实世界性能。

实验结果

研究问题

• RQ1 半监督学习框架能否通过利用无标签的真实雨图，有效提升真实世界图像的去雨性能？
• RQ2 SSRML组件的共享参数设计在合成与真实雨痕模式之间的特征学习与泛化能力方面有何影响？
• RQ3 与标准判别器相比，成对判别器在提升去雨输出的真实感与结构准确性方面效果如何？
• RQ4 引入真实世界数据集（Real200）是否显著缩小了域差距，并提升了对未见雨痕模式的鲁棒性？
• RQ5 所提方法是否能在真实图像上实现优于仅在合成数据上训练的完全监督模型的性能？

主要发现

• Semi-DerainGAN在真实世界去雨基准上达到最先进性能，尤其优于仅在合成数据上训练的完全监督模型。
• 通过有效学习真实图像中多样的雨痕模式，模型显著减少了过去滤波与过去滤波伪影。
• 与基线GAN相比，成对判别器显著提升了去雨图像的感知质量与结构保真度。
• 使用Real200数据集显著提升了泛化能力，尤其在未见雨型与雨向上的表现。
• 半监督训练策略使模型在真实世界条件下的泛化能力优于完全监督基线模型。
• 定量结果表明，Semi-DerainGAN在Real200数据集上达到PSNR 30.15 dB与SSIM 0.921，优于先前方法在真实图像上的表现。