[论文解读] Semi-Supervised Image Deraining using Gaussian Processes

Rajeev Yasarla, Vishwanath A. Sindagi+1 more|arXiv (Cornell University)|Sep 25, 2020

Image Enhancement Techniques参考文献 56被引用 5

一句话总结

本文提出了一种基于高斯过程的半监督学习框架，用于图像去雨，通过利用未标记的真实世界图像来提升模型在合成数据之外的泛化能力。通过在潜在空间中使用高斯过程（GPs）对未标记数据的特征进行建模，以生成伪真实标签监督信号，该方法在合成数据上进行完全监督训练的性能之上表现更优，并且在基准数据集上优于以往的半监督方法。

ABSTRACT

Recent CNN-based methods for image deraining have achieved excellent performance in terms of reconstruction error as well as visual quality. However, these methods are limited in the sense that they can be trained only on fully labeled data. Due to various challenges in obtaining real world fully-labeled image deraining datasets, existing methods are trained only on synthetically generated data and hence, generalize poorly to real-world images. The use of real-world data in training image deraining networks is relatively less explored in the literature. We propose a Gaussian Process-based semi-supervised learning framework which enables the network in learning to derain using synthetic dataset while generalizing better using unlabeled real-world images. More specifically, we model the latent space vectors of unlabeled data using Gaussian Processes, which is then used to compute pseudo-ground-truth for supervising the network on unlabeled data. Through extensive experiments and ablations on several challenging datasets (such as Rain800, Rain200L and DDN-SIRR), we show that the proposed method is able to effectively leverage unlabeled data thereby resulting in significantly better performance as compared to labeled-only training. Additionally, we demonstrate that using unlabeled real-world images in the proposed GP-based framework results

研究动机与目标

• 解决仅在合成的、完全标注的数据上训练的基于CNN的去雨模型泛化能力差的问题。
• 通过有效利用未标记的真实世界数据，提升在真实世界雨天图像上的性能。
• 克服以往半监督方法在残差建模中依赖参数化模型（如高斯混合模型GMMs）的局限性。
• 提出一种非参数化、鲁棒的伪真实标签生成方法，利用潜在空间中的高斯过程。
• 在仅使用少量标注数据和大量未标记的真实世界图像的情况下，展示在跨域去雨基准上的最先进性能。

提出的方法

• 该方法使用一个基础CNN进行图像去雨，基于标注的合成数据，使用标准的L1损失和感知损失进行训练。
• 对于未标记的真实世界图像，提取其潜在特征表示，并使用高斯过程（GPs）联合建模。
• 基于未标记图像在潜在空间中与标注数据的相似性，GP模型预测其伪真实标签输出。
• 将伪真实标签预测作为训练过程中的监督信号，通过加权损失项（$\lambda_{\text{unsup}}$）平衡标注数据和未标注数据的损失。
• 通过迭代更新GP超参数并重新估计监督信号，框架逐步优化伪真实标签预测，提升训练过程中的预测一致性。
• 非参数化的GP方法避免了对残差分布的假设，消除了对混合成分选择的敏感性。

实验结果

研究问题

• RQ1 基于非参数化GP的方法能否在图像去雨任务中，有效生成未标记的真实世界雨天图像的可靠伪真实标签？
• RQ2 通过在潜在空间中使用GP建模未标记的真实世界数据，是否能实现比仅在合成数据上训练更好的泛化性能？
• RQ3 与现有的基于GMM的半监督方法相比，所提出的基于GP的半监督框架在性能和鲁棒性方面表现如何？
• RQ4 哪些超参数（核函数类型、最近邻数量、损失权重）对GP-based去雨框架的性能影响最大？
• RQ5 该方法是否具备跨域泛化能力，例如在合成数据上训练并在多样化的现实世界数据集上测试？

主要发现

• 当在DIDMDN（标注）和DDN（未标注）上进行训练时，该方法在DDN数据集上实现了27.47 dB的PSNR和0.853的SSIM，优于基线模型和以往的半监督方法。
• 定性结果中，该方法显著减少了可见的雨痕，生成的去雨图像比Syn2Real++和其他基线方法更清晰、更锐利。
• 使用线性核进行GP建模的性能与更复杂的核函数（如SE、RQ）相当，同时具备更简单的结构和更低的计算成本。
• GP推理的最优最近邻数量为$N_n = 32$，此时PSNR最高，且在$N_n = 16$到$64$之间性能保持稳定。
• 最优的无监督损失权重为$\lambda_{\text{unsup}} = 1.5 \times 10^{-3}$，能有效平衡标注与未标注数据的监督信号。
• 该方法在跨数据集评估中性能接近“理想”情况（即在未标记数据上进行完全监督训练），展示了强大的跨域泛化能力。