[论文解读] Unified Removal of Raindrops and Reflections: A New Benchmark and A Novel Pipeline

Xingyu Liu, Zewei He+5 more|arXiv (Cornell University)|Mar 17, 2026

Image Enhancement Techniques被引用 0

一句话总结

该论文定义了统一的雨滴与反射去除（UR3）任务，提出真实拍摄的 RainDrop and ReFlection（RDRF）数据集，并提出基于扩散的流水线（DiffUR3），通过两阶段设计和一个 Modulate&Gate 控制模块联合去除两种退化。

ABSTRACT

When capturing images through glass surfaces or windshields on rainy days, raindrops and reflections frequently co-occur to significantly reduce the visibility of captured images. This practical problem lacks attention and needs to be resolved urgently. Prior de-raindrop, de-reflection, and all-in-one models have failed to address this composite degradation. To this end, we first formally define the unified removal of raindrops and reflections (UR$^3$) task for the first time and construct a real-shot dataset, namely RainDrop and ReFlection (RDRF), which provides a new benchmark with substantial, high-quality, diverse image pairs. Then, we propose a novel diffusion-based framework (i.e., DiffUR$^3$) with several target designs to address this challenging task. By leveraging the powerful generative prior, DiffUR$^3$ successfully removes both types of degradations. Extensive experiments demonstrate that our method achieves state-of-the-art performance on our benchmark and on challenging in-the-wild images. The RDRF dataset and the codes will be made public upon acceptance.

研究动机与目标

• 将 UR3 作为一个实际、现实世界的任务，要求同时去除雨滴和反射。
• 创建一个真实拍摄数据集（RDRF），包含含雨滴-反射退化的图像及干净地面真实。
• 开发一个两阶段的扩散式框架（DiffUR3），利用生成先验同时去除两种退化。
• 设计模块以有效融合双条件信号，并在压缩伪影后提升保真度。
• 提供全面实验，展示在 RDRF 和具有挑战性的真实世界图像上的最新性能。

提出的方法

• 阶段 I：使用 DRSformer 从低质量输入 I_lq 生成初步清晰图 I_s。
• 阶段 II：基于 Stable Diffusion 的多条件生成，将 I_lq 和 I_s 编码到 VAE 潜在空间作为条件信号。
• Modulate&Gate 模块通过交叉注意力互动和空间注意力，将双条件潜在 I_lq 与 I_s与嘈杂的扩散潜在 z_t 自适应融合，产生调制后的条件潜在。
• 为缓解由 VAE 压缩带来的失真，加入 Fidelity Encoder，通过零卷积将保真特征引入 VAE 解码器，并以真实重建损失（L1）引导。
• 通过颜色规范化进行颜色校正，使输出颜色与参考一致。

实验结果

研究问题

• RQ1 雨滴去除与反射去除能否在一个统一框架中有效处理，而非分开两步？
• RQ2 基于扩散先验的多条件输入流水线在真实 UR3 数据上，是否优于级联或单一退化方法？
• RQ3 在实现高保真度与感知质量方面，哪些组件（Modulate&Gate、Fidelity Encoder）是关键？
• RQ4 DiffUR3 在野外场景和仅雨滴场景上的泛化能力如何，相较于 RDRF 基准？
• RQ5 高质量真实拍摄数据对学习鲁棒 UR3 模型有何影响？

主要发现

Type	Method	Venue	RDRF-testing	PSNR	SSIM	LPIPS	MUSIQ	CLIPIQA+	HyperIQA
Ours	DiffUR 3 50	-	29.41	0.9372	0.0813	74.72	0.6705	0.7043

• DiffUR3 在 RDRF 测试集上，在 PSNR、SSIM、LPIPS 和无参考 IQA 指标上实现了最先进的性能。
• Modulate&Gate 模块相对于简单拼接双条件或单条件输入的基线显著提升结果。
• Fidelity Encoder 的加入在消融实验中带来最佳的 PSNR、SSIM 和 LPIPS，表明对地面真实的保真度提升。
• 与多种基线（仅雨滴、仅反射、级联、全能型）相比，DiffUR3 的阶段 II 与 FE 始终提供更高的定量分数与更好的视觉质量。
• 一项用户研究显示，在 RDRF 测试图像上，DiffUR3 比竞争方法更受专家欢迎。
• DiffUR3 对雨滴-only 数据集以及 RDRF-wild 集具有良好泛化性，表明对真实世界条件具有鲁棒性。