[论文解读] Semi-supervised Transfer Learning for Image Rain Removal

Wei Wei, Deyu Meng+3 more|arXiv (Cornell University)|Jul 29, 2018

Image Enhancement Techniques被引用 43

一句话总结

该论文提出了一种用于单图降雨的半监督迁移学习框架，利用无监督的真实降雨图像以及带监督的合成配对，通过参数分布对残留降雨建模，并使用带有卷积神经网络的EM优化。

ABSTRACT

Single image rain removal is a typical inverse problem in computer vision. The deep learning technique has been verified to be effective for this task and achieved state-of-the-art performance. However, previous deep learning methods need to pre-collect a large set of image pairs with/without synthesized rain for training, which tends to make the neural network be biased toward learning the specific patterns of the synthesized rain, while be less able to generalize to real test samples whose rain types differ from those in the training data. To this issue, this paper firstly proposes a semi-supervised learning paradigm toward this task. Different from traditional deep learning methods which only use supervised image pairs with/without synthesized rain, we further put real rainy images, without need of their clean ones, into the network training process. This is realized by elaborately formulating the residual between an input rainy image and its expected network output (clear image without rain) as a specific parametrized rain streaks distribution. The network is therefore trained to adapt real unsupervised diverse rain types through transferring from the supervised synthesized rain, and thus both the short-of-training-sample and bias-to-supervised-sample issues can be evidently alleviated. Experiments on synthetic and real data verify the superiority of our model compared to the state-of-the-arts.

研究动机与目标

• 在单图降雨去除（SIRR）中 motivating domain transfer 以缩小合成降雨和真实降雨数据之间的差距。
• 提出一个半监督框架，在训练阶段利用无监督的真实降雨图像。
• 将残留降雨用参数化分布来建模，并将其整合到一个联合学习目标中。
• 开发一个基于EM的优化方案，以同时训练网络和降雨分布参数。

提出的方法

• 将对合成降雨-清除对的监督最小二乘损失与对真实降雨图像的无监督MAP损失结合起来，使用参数化降雨分布。
• 将降雨建模为高斯混合模型，以零均值高斯分布捕捉多模态的降雨模式。
• 在合成降雨分布和真实降雨分布之间强制KL散度约束，以鼓励领域对齐。
• 在背景上加入总变差正则化以抑制残留噪声并保持结构。
• 使用期望最大化（EM）迭代估计分量职责并更新网络和GMM参数。
• 采用Adam优化器进行端到端训练，将梯度从有监督和无监督项反向传播。

实验结果

研究问题

• RQ1 半监督学习结合真实无监督降雨图像是否能在泛化到真实降雨方面优于纯监督模型？
• RQ2 如何有效建模残留降雨以使从真实降雨数据中实现无监督学习成为可能？
• RQ3 通过参数分布从合成降雨向真实降雨迁移是否能降低SIRR中的领域偏差？
• RQ4 将监督和无监督损失结合对降雨去除性能有何影响？

主要发现

数据集	输入	DSC [26]	LP [24]	JORDER [29]	CNN [10]	JBO [33]	DID-MDN [31]	我们的方法
Dense	17.95	19.00	19.27	18.75	19.90	18.87	18.60	21.60
Sparse	24.14	25.05	25.67	24.22	26.88	25.24	25.66	26.98

• 所提出的半监督模型比完全监督基线在从合成降雨向真实降雨模式的迁移上表现更好。
• 使用3组分GMM来建模真实降雨残留，能为降雨去除提供有效的无监督学习信号。
• 在密集和稀疏降雨场景下，该方法在合成数据上的PSNR优于现有方法。
• 在真实降雨图像上，该方法比对比方法在去除降雨条纹的同时更好地保留图像结构。
• 基于EM的优化在训练过程中成功更新网络参数与GMM降雨分布。