[论文解读] Syn2Real Transfer Learning for Image Deraining using Gaussian Processes

Rajeev Yasarla, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Jun 10, 2020

Image Enhancement Techniques参考文献 32被引用 4

一句话总结

本文提出了一种基于高斯过程的半监督学习框架，使深度神经网络能够在训练过程中利用未标注的真实世界雨天图像，从而在泛化性能上超越合成数据。通过联合建模有标签和无标签数据的潜在特征，并利用高斯过程生成伪真实监督信号，该方法在仅使用60%有标签数据的情况下，性能可与完全监督训练相媲美，且在真实世界去雨基准测试中优于现有最先进方法。

ABSTRACT

Recent CNN-based methods for image deraining have achieved excellent performance in terms of reconstruction error as well as visual quality. However, these methods are limited in the sense that they can be trained only on fully labeled data. Due to various challenges in obtaining real world fully-labeled image deraining datasets, existing methods are trained only on synthetically generated data and hence, generalize poorly to real-world images. The use of real-world data in training image deraining networks is relatively less explored in the literature. We propose a Gaussian Process-based semi-supervised learning framework which enables the network in learning to derain using synthetic dataset while generalizing better using unlabeled real-world images. Through extensive experiments and ablations on several challenging datasets (such as Rain800, Rain200H and DDN-SIRR), we show that the proposed method, when trained on limited labeled data, achieves on-par performance with fully-labeled training. Additionally, we demonstrate that using unlabeled real-world images in the proposed GP-based framework results in superior performance as compared to existing methods. Code is available at: https://github.com/rajeevyasarla/Syn2Real

研究动机与目标

• 解决现有基于CNN的去雨模型在合成数据与真实世界雨天图像之间存在的域偏移问题。
• 实现对未标注真实世界图像的有效利用，克服真实世界有标签数据稀缺的问题。
• 开发一种鲁棒的半监督学习框架，提升泛化能力，且不依赖于高斯混合模型等参数化假设。
• 证明仅使用有限有标签数据并结合未标注的真实世界数据，即可实现与完全监督训练相当的性能。

提出的方法

• 该方法在有标签的合成雨天图像上使用深度CNN，并应用监督损失（L1损失和感知损失）。
• 对于未标注的真实世界图像，通过联合建模有标签和未标注的潜在特征，利用高斯过程在潜在空间中估计伪真实标签。
• 高斯过程通过迭代训练，基于不断演化的特征表示，逐步优化未标注数据的伪标签。
• 该框架在有标签数据上优化网络参数，同时利用有标签和未标注的潜在向量更新高斯过程先验。
• 通过使用非参数化的高斯过程，避免了参数化假设，无需像基于高斯混合模型的方法那样预先定义混合分量数量。
• 通过在Rain800、Rain200H和DDN-SIRR数据集上的消融实验和对比实验，验证了该方法的有效性，结果表明引入未标注数据可带来一致性能提升。

实验结果

研究问题

• RQ1 基于半监督学习的框架能否仅通过未标注的真实世界雨天图像，有效提升去雨模型的泛化能力？
• RQ2 基于高斯过程的伪标签策略在建模复杂、多模态的雨残差方面，与基于高斯混合模型的方法相比表现如何？
• RQ3 在仅使用60%有标签数据的情况下，结合未标注的真实世界数据，性能能维持或提升到何种程度？
• RQ4 与现有最先进方法相比，该方法是否能更有效地缓解合成雨天图像与真实雨天图像之间的域偏移？
• RQ5 该方法对超参数（如高斯过程核选择和正则化）的敏感性如何？

主要发现

• 在Rain800数据集上，仅使用60%有标签数据（并结合未标注数据）即可达到23.70 dB的PSNR，与完全监督训练的23.74 dB性能相当。
• 在Rain200H数据集上，使用60%有标签数据和未标注数据可达到25.26 dB的PSNR，与100%有标签数据的25.27 dB性能几乎持平。
• 当引入未标注数据后，PSNR从仅使用10%有标签数据时的21.31 dB提升至22.02 dB，表明在不同数据划分下性能均保持一致提升。
• 在真实世界数据集上，该方法在PSNR和SSIM指标上均优于SIRR [49]，证明其具有更优的泛化能力。
• 消融实验证实，基于高斯过程的伪标签策略在训练初期尤其优于基于高斯混合模型的方法，表现出更强的鲁棒性。
• 该方法在DDN-SIRR真实世界基准上达到最先进性能，验证了其在真实世界部署中的有效性。