[论文解读] Toward Real-world Single Image Deraining: A New Benchmark and Beyond

Wei Li, Qiming Zhang+4 more|arXiv (Cornell University)|Jun 11, 2022

Image Enhancement Techniques被引用 8

一句话总结

本文提出了 RealRain-1k，一个高质量的真实世界单图像去雨数据集，包含 1,120 对高分辨率、空间对齐的干净-下雨图像对，以及 SynRain-13k，一个使用真实雨痕图层生成的大规模合成数据集。作者在三个赛道——监督学习、域泛化和迁移学习——上对超过 10 种最先进去雨模型进行了基准测试，结果表明在 SynRain-13k 上预训练的模型优于在以往合成数据集上预训练的模型，验证了这些数据集在真实世界泛化能力和模型鲁棒性方面的价值。

ABSTRACT

Single image deraining (SID) in real scenarios attracts increasing attention in recent years. Due to the difficulty in obtaining real-world rainy/clean image pairs, previous real datasets suffer from low-resolution images, homogeneous rain streaks, limited background variation, and even misalignment of image pairs, resulting in incomprehensive evaluation of SID methods. To address these issues, we establish a new high-quality dataset named RealRain-1k, consisting of $1,120$ high-resolution paired clean and rainy images with low- and high-density rain streaks, respectively. Images in RealRain-1k are automatically generated from a large number of real-world rainy video clips through a simple yet effective rain density-controllable filtering method, and have good properties of high image resolution, background diversity, rain streaks variety, and strict spatial alignment. RealRain-1k also provides abundant rain streak layers as a byproduct, enabling us to build a large-scale synthetic dataset named SynRain-13k by pasting the rain streak layers on abundant natural images. Based on them and existing datasets, we benchmark more than 10 representative SID methods on three tracks: (1) fully supervised learning on RealRain-1k, (2) domain generalization to real datasets, and (3) syn-to-real transfer learning. The experimental results (1) show the difference of representative methods in image restoration performance and model complexity, (2) validate the significance of the proposed datasets for model generalization, and (3) provide useful insights on the superiority of learning from diverse domains and shed lights on the future research on real-world SID. The datasets will be released at https://github.com/hiker-lw/RealRain-1k

研究动机与目标

• 为解决现有真实世界去雨数据集存在的低分辨率、雨痕同质化、背景变化有限以及空间错位等问题。
• 建立一个高质量的基准，用于评估单图像去雨（SID）模型在具有多样化雨量密度和背景的复杂真实场景下的表现。
• 研究现有 SID 方法在不同学习范式下的性能与泛化能力：完全监督学习、域泛化和迁移学习。
• 探索使用真实雨痕图层构建的合成数据集在提升模型对真实世界下雨图像泛化能力方面的有效性。

提出的方法

• 作者从真实世界场景中收集了 1,120 个高分辨率下雨视频片段，利用雨量密度可控的滤波方法生成干净与下雨图像对。
• 通过反转线性叠加模型，确保干净图像与下雨图像之间严格的空间对齐，从而实现精确的图像对生成。
• 从生成的图像三元组（干净、轻度降雨、重度降雨）中，将真实雨痕图层作为副产品提取出来，用于数据增强。
• 利用这些真实雨痕图层，将它们粘贴到 13,000 张多样的自然图像上，构建 SynRain-13k，以缩小与真实下雨图像之间的域差距。
• 在三个学习赛道上评估超过 10 种具有代表性的 SID 模型：在 RealRain-1k 上进行监督学习、在真实与合成数据集之间进行域泛化，以及从合成数据到真实数据的迁移学习。
• 模型评估包括 PSNR、SSIM、推理延迟、FLOPs 和内存占用等指标，以综合评估性能与效率。

实验结果

研究问题

• RQ1 现有 SID 方法在具有复杂背景和不同雨量密度的高分辨率、多样化真实世界下雨图像上的表现如何？
• RQ2 当在合成或真实数据上训练时，SID 模型在未见的真实世界数据集上的泛化能力如何？
• RQ3 在包含真实雨痕图层的大规模合成数据集上进行预训练，能在多大程度上提升模型在真实下雨图像上的表现？
• RQ4 在现代 CNN 和基于 Transformer 的架构中，去雨性能与模型复杂度之间的权衡关系如何？

主要发现

• 在 SynRain-13k 上预训练的模型在 RealRain-1k-H 上取得了显著更高的 PSNR 和 SSIM（例如，Restormer 达到 41.88 dB PSNR 和 0.9872 SSIM），优于在 Rain13k 上预训练或未预训练的模型。
• 在 RealRain-1k-L 上微调的 MPRNet 模型取得了 41.35 dB PSNR 和 0.9867 SSIM，优于其在合成到真实以及真实到真实域泛化设置下的表现。
• 尽管 HINet 参数量高达 88.666M，且在 512×512 图像上的延迟为 826.86ms，但其性能依然出色，凸显了模型复杂度与恢复质量之间的权衡。
• 结果表明，在 RealRain-1k 上训练的模型比在 RainDS 或 SPA-data 上训练的模型更能泛化到未见的真实场景，验证了该数据集的质量与多样性。
• 从 SynRain-13k 进行迁移学习的性能优于从零开始训练或使用旧合成数据集的方法，证明了基于真实雨痕图层的数据增强的价值。
• 研究发现，训练集与测试集之间背景重叠（如在 SPA-data 中）可能导致性能评估过于乐观，强调了评估中领域多样性的重要性。