[论文解读] SDNet: mutil-branch for single image deraining using swin

Fuxiang Tan, Yuting Kong+7 more|arXiv (Cornell University)|May 31, 2021

Image Enhancement Techniques参考文献 48被引用 10

一句话总结

本文提出SDNet，一种基于多分支Swin-Transformer的单图像去雨模型，通过用改进的Swin Transformer替代传统卷积操作，以捕捉长程依赖关系并提升特征表示能力。通过融合多尺度特征与跳跃连接，SDNet在Rain100L、Rain100H和新构建的Rain3000数据集上实现了最先进性能，在Rain3000上达到34.09 dB的PSNR，且在Rain100H上相比MPRNet提升1.95 dB，同时保持快速推理速度和较低参数量。

ABSTRACT

Rain streaks degrade the image quality and seriously affect the performance of subsequent computer vision tasks, such as autonomous driving, social security, etc. Therefore, removing rain streaks from a given rainy images is of great significance. Convolutional neural networks(CNN) have been widely used in image deraining tasks, however, the local computational characteristics of convolutional operations limit the development of image deraining tasks. Recently, the popular transformer has global computational features that can further facilitate the development of image deraining tasks. In this paper, we introduce Swin-transformer into the field of image deraining for the first time to study the performance and potential of Swin-transformer in the field of image deraining. Specifically, we improve the basic module of Swin-transformer and design a three-branch model to implement single-image rain removal. The former implements the basic rain pattern feature extraction, while the latter fuses different features to further extract and process the image features. In addition, we employ a jump connection to fuse deep features and shallow features. In terms of experiments, the existing public dataset suffers from image duplication and relatively homogeneous background. So we propose a new dataset Rain3000 to validate our model. Therefore, we propose a new dataset Rain3000 for validating our model. Experimental results on the publicly available datasets Rain100L, Rain100H and our dataset Rain3000 show that our proposed method has performance and inference speed advantages over the current mainstream single-image rain streaks removal models.The source code will be available at https://github.com/H-tfx/SDNet.

研究动机与目标

• 为解决基于CNN的去雨模型因感受野局部化而难以捕捉长程上下文依赖关系的问题。
• 通过用全局自注意力机制替代卷积操作，探索Swin Transformer在图像去雨任务中的潜力。
• 设计一种多分支架构，融合不同空间尺度的特征，以提升雨痕与纹理的恢复效果。
• 提出一个新的、多样化的数据集Rain3000，以克服现有公开基准中数据同质化与重复的问题。
• 在保持低参数量与快速推理速度的前提下，实现高性能去雨效果，提升实际部署可行性。

提出的方法

• 核心架构将标准卷积层替换为改进的Swin Transformer模块，以实现全局特征建模与长程依赖学习。
• 引入三分支设计：一个分支用于浅层特征提取，一个用于深层特征学习，第三个分支通过Mswt-3模块实现多尺度特征融合。
• 采用跳跃连接将深层与浅层特征拼接，以增强特征传播并保留细粒度细节。
• Mswt-3模块采用滑动窗口机制并引入跨窗口注意力，以在保持线性计算复杂度的同时实现窗口间信息交互。
• 从ImageNet构建新数据集Rain3000，包含3000对训练样本与400对测试样本，结合多样化背景与雨型，以提升模型泛化能力。
• 模型采用端到端训练，基于重建损失进行优化，其假设为Y = B + R，其中Y为有雨图像，B为干净图像，R为雨痕。

实验结果

研究问题

• RQ1 Swin Transformer的全局注意力机制是否能通过捕捉长程依赖关系，在单图像去雨任务中超越卷积神经网络？
• RQ2 相较于单路径或双分支设计，采用跨尺度特征融合的多分支架构在去雨性能上是否具有显著优势？
• RQ3 在深层与浅层特征之间引入跳跃连接，是否能有效提升细粒度纹理的恢复效果并减少伪影？
• RQ4 像Rain3000这样新构建的、包含多样化背景与雨型的数据集，是否能提升模型泛化能力并减少对同质化数据的过拟合？
• RQ5 在去雨任务中采用基于Transformer的架构时，模型性能、参数量与推理速度之间存在何种权衡？

主要发现

• SDNet在Rain3000数据集上实现34.09 dB的PSNR与0.9621的SSIM，优于所有对比方法。
• 在Rain100H数据集上，SDNet实现28.26 dB的PSNR与0.8957的SSIM，相比先前最先进模型MPRNet分别提升1.95 dB与0.0497。
• SDNet将参数量减少至DCSFN的26.82%与MPRNet的47.58%，同时实现更快推理速度——较DCSFN快5.7倍，较MPRNet快1.79倍。
• 视觉对比显示，SDNet能有效去除雨痕并保留纹理细节，在定量与定性结果上均优于RESCAN、NLEDN、GCANet、PREnet、DCSFN与MPRNet。
• 消融实验表明，采用三分支结构的Mswt-3模块在173万参数下表现最佳（PSNR达34.09 dB）。
• 所提出的Rain3000数据集展现出更高的多样性与更强的泛化潜力，可有效支持鲁棒去雨模型的评估。