[论文解读] Physical Model Guided Deep Image Deraining

Honghe Zhu, Cong Wang+3 more|arXiv (Cornell University)|Mar 30, 2020

Image Enhancement Techniques参考文献 23被引用 4

一句话总结

该论文提出了一种基于物理模型的深度学习框架，用于单图像去雨，通过联合估计雨痕和无雨图像，利用其拼接结果作为优化引导，并基于线性模型 O = B + R 强制实施物理约束。该方法引入了多尺度残差块（MSRB）以增强多尺度特征学习，在合成数据集和真实世界数据集上均取得了最先进性能，PSNR 达到 28.97，SSIM 达到 0.9015。

ABSTRACT

Single image deraining is an urgent task because the degraded rainy image makes many computer vision systems fail to work, such as video surveillance and autonomous driving. So, deraining becomes important and an effective deraining algorithm is needed. In this paper, we propose a novel network based on physical model guided learning for single image deraining, which consists of three sub-networks: rain streaks network, rain-free network, and guide-learning network. The concatenation of rain streaks and rain-free image that are estimated by rain streaks network, rain-free network, respectively, is input to the guide-learning network to guide further learning and the direct sum of the two estimated images is constrained with the input rainy image based on the physical model of rainy image. Moreover, we further develop the Multi-Scale Residual Block (MSRB) to better utilize multi-scale information and it is proved to boost the deraining performance. Quantitative and qualitative experimental results demonstrate that the proposed method outperforms the state-of-the-art deraining methods. The source code will be available at \url{https://supercong94.wixsite.com/supercong94}.

研究动机与目标

• 通过利用雨天图像形成模型 O = B + R 中的物理先验，解决单图像去雨问题中高度病态的挑战。
• 通过联合估计雨痕和无雨图像，而非分别处理，以提升去雨性能。
• 通过引入多尺度信息，利用新型多尺度残差块（MSRB）增强特征表示能力。
• 通过估计的雨痕和无雨图像的拼接结果引导学习过程，提升细节与纹理的恢复效果。
• 通过消融实验与对比实验，验证物理模型约束与多尺度设计的有效性。

提出的方法

• 网络由三个子网络组成：雨痕网络、无雨网络以及一个以两个估计图像拼接结果为输入的引导学习网络。
• 引导学习网络利用估计的雨痕与无雨图像的拼接结果，对最终输出进行优化，实现跨特征引导。
• 通过最小化输入雨天图像与估计雨痕和无雨图像之和之间的 L1-范数差异，施加物理约束。
• 设计多尺度残差块（MSRB）以提取多尺度特征，提升对不同尺寸与方向雨痕的表征能力。
• 网络采用多流空洞卷积，以捕捉特征图中的多尺度上下文信息。
• 损失函数结合感知损失与 L1 损失，并引入基于物理模型的 Lp 损失，以确保与观测雨天图像的一致性。

实验结果

研究问题

• RQ1 与无此类约束的端到端学习相比，基于物理模型的约束是否能提升单图像去雨的鲁棒性与准确性？
• RQ2 通过引导学习机制联合估计雨痕与无雨图像，是否能显著提升去雨性能？
• RQ3 通过专用的 MSRB 模块引入多尺度特征学习，在多大程度上改善了复杂雨痕模式的表征能力？
• RQ4 估计的雨痕与无雨图像的拼接结果是否能作为有效引导，用于优化最终去雨输出？
• RQ5 在真实世界与合成数据设置下，多尺度设计、物理约束与引导学习等各组件对整体性能的贡献如何？

主要发现

• 所提方法在基准数据集上达到 PSNR 28.97 和 SSIM 0.9015，无论在定量还是定性评估中均优于最先进方法。
• 消融实验表明，多尺度结构显著提升性能，引入后 PSNR 最高提升 0.73 dB。
• 物理模型约束（Lp 损失）有助于更好地保留图像细节并减少伪影，表现为 SSIM 与 PSNR 值的提升。
• 采用雨痕网络与无雨网络拼接特征的引导学习网络，其结果优于仅使用单一估计分量的模型。
• 在真实世界图像上的视觉对比显示，所提方法生成结果最清晰，残留雨痕与伪影最少，优于 DDN、JORDER、RESCAN 与 PReNet。
• 实证验证表明，MSRB 模块能有效增强特征表征能力，尤其在捕捉不同尺度与密度的雨痕方面表现突出。