[论文解读] RCDNet: An Interpretable Rain Convolutional Dictionary Network for Single Image Deraining

Hong Wang, Qi Xie+5 more|arXiv (Cornell University)|Jul 14, 2021

Image Enhancement Techniques参考文献 79被引用 10

一句话总结

该论文提出RCDNet，一种用于单图像去雨的可解释深度卷积字典网络，通过雨滴条纹卷积字典（RCD）先验显式建模雨滴条纹。通过将迭代阈值算法展开为具有物理意义模块的神经网络，RCDNet实现了清晰的可解释性与泛化能力，通过动态雨滴核推理，在合成数据集和真实世界数据集上均取得了最先进性能。

ABSTRACT

As a common weather, rain streaks adversely degrade the image quality. Hence, removing rains from an image has become an important issue in the field. To handle such an ill-posed single image deraining task, in this paper, we specifically build a novel deep architecture, called rain convolutional dictionary network (RCDNet), which embeds the intrinsic priors of rain streaks and has clear interpretability. In specific, we first establish a RCD model for representing rain streaks and utilize the proximal gradient descent technique to design an iterative algorithm only containing simple operators for solving the model. By unfolding it, we then build the RCDNet in which every network module has clear physical meanings and corresponds to each operation involved in the algorithm. This good interpretability greatly facilitates an easy visualization and analysis on what happens inside the network and why it works well in inference process. Moreover, taking into account the domain gap issue in real scenarios, we further design a novel dynamic RCDNet, where the rain kernels can be dynamically inferred corresponding to input rainy images and then help shrink the space for rain layer estimation with few rain maps so as to ensure a fine generalization performance in the inconsistent scenarios of rain types between training and testing data. By end-to-end training such an interpretable network, all involved rain kernels and proximal operators can be automatically extracted, faithfully characterizing the features of both rain and clean background layers, and thus naturally lead to better deraining performance. Comprehensive experiments substantiate the superiority of our method, especially on its well generality to diverse testing scenarios and good interpretability for all its modules. Code is available in \emph{\url{https://github.com/hongwang01/DRCDNet}}.

研究动机与目标

• 为解决传统去雨方法中手工设计先验的局限性，这些先验往往无法捕捉复杂的雨滴模式。
• 通过将物理先验直接嵌入网络架构，提升基于深度学习的去雨方法的可解释性。
• 通过在推理过程中动态推断雨滴核，提升对多样化雨型的泛化能力。
• 实现雨滴核与阈值算子的端到端联合学习，以忠实表征雨滴与背景特征。
• 在训练与测试雨滴模式不同的真实世界场景中，展示优越的性能与鲁棒性。

提出的方法

• RCDNet架构通过展开用于求解雨滴卷积字典（RCD）模型的迭代阈值梯度下降算法而构建。
• 每个网络模块直接对应算法中的物理操作，如软阈值化或卷积，确保可解释性。
• 提出动态RCDNet（DRCDNet）变体，基于输入的雨天图像自适应推断雨滴核，减轻域差距问题。
• 网络端到端训练，联合学习雨滴核与阈值算子，实现对雨滴与背景层的自动特征表征。
• 该方法采用字典学习公式，将雨滴条纹建模为在稀疏图上对学习到的雨滴核进行稀疏卷积。
• 该架构支持固定与动态核推理，允许在测试阶段对未见雨型进行微调。

实验结果

研究问题

• RQ1 能否设计一种可解释的深度网络架构，显式嵌入雨滴条纹的内在先验，以提升模型透明度？
• RQ2 RCDNet模块的可解释性在多大程度上促进了对内部推理过程的分析？
• RQ3 当测试雨滴模式与训练数据不同时，动态雨滴核推理能否提升泛化能力？
• RQ4 在视觉质量与定量指标方面，RCDNet相较于最先进方法的性能提升程度如何？
• RQ5 该方法在去雨后是否仍能在下游任务（如语义分割）中保持高性能？

主要发现

• RCDNet在合成与真实世界去雨基准上均达到最先进性能，PSNR与SSIM指标显著优于先前方法。
• 动态RCDNet（DRCDNet）在语义分割任务中的MIOU相比CRCDNet提升了2%，证明了更强的泛化能力。
• 在Cityscapes数据集上，DRCDNet相比直接使用雨天图像，将分割准确率提升了约40%。
• DRCDNet的推理速度更快（每张图像0.71秒），优于多个SOTA方法（如JORDER_E的3.12秒），同时保持高精度。
• 雨滴核的可视化显示，网络学习到了多样且符合物理实际的雨滴模式，与真实世界观察一致。
• 网络的可解释模块使得特征传播与变换过程可清晰可视化，支持模型分析与调试。