[论文解读] Sparse Sampling Transformer with Uncertainty-Driven Ranking for Unified Removal of Raindrops and Rain Streaks

Sixiang Chen, Ye Tian+4 more|arXiv (Cornell University)|Aug 27, 2023

Image Enhancement TechniquesComputer Science被引用 3

一句话总结

本文提出 UDR-S2Former，一种基于不确定性驱动排序的稀疏采样 Transformer 模型，用于统一去除雨痕与雨滴。通过自适应采样全局退化关系并利用不确定性图引导特征排序，该方法在计算成本极低的情况下实现了最先进性能，在多个基准测试中优于先前方法。

ABSTRACT

In the real world, image degradations caused by rain often exhibit a combination of rain streaks and raindrops, thereby increasing the challenges of recovering the underlying clean image. Note that the rain streaks and raindrops have diverse shapes, sizes, and locations in the captured image, and thus modeling the correlation relationship between irregular degradations caused by rain artifacts is a necessary prerequisite for image deraining. This paper aims to present an efficient and flexible mechanism to learn and model degradation relationships in a global view, thereby achieving a unified removal of intricate rain scenes. To do so, we propose a Sparse Sampling Transformer based on Uncertainty-Driven Ranking, dubbed UDR-S2Former. Compared to previous methods, our UDR-S2Former has three merits. First, it can adaptively sample relevant image degradation information to model underlying degradation relationships. Second, explicit application of the uncertainty-driven ranking strategy can facilitate the network to attend to degradation features and understand the reconstruction process. Finally, experimental results show that our UDR-S2Former clearly outperforms state-of-the-art methods for all benchmarks.

研究动机与目标

• 解决在复杂真实场景中联合去除不规则雨痕与雨滴的挑战。
• 建模雨痕在不同形状、大小和位置下的长程退化关系。
• 通过显式利用不确定性图来引导注意力与采样，提升图像恢复性能。
• 设计轻量化、高效的架构，在细节恢复方面保持高保真度。

提出的方法

• 提出一种稀疏采样注意力（SSA）机制，可从完整图像中自适应采样相关退化特征，避免固定窗口划分。
• 引入不确定性驱动排序（UDR）策略，利用不确定性图引导特征选择与注意力机制，增强对复杂退化区域的关注。
• 基于不确定性排序构建约束矩阵，在采样过程中显式限制注意力聚焦于显著的退化模式。
• 采用可学习的相关图排序机制，强化部分退化区域的局部恢复能力。
• 使用多尺度图像重建模块与残差连接，以在去雨过程中保留精细细节。
• 将不确定性估计集成至注意力机制中，提升在高不确定性区域的鲁棒性与建模精度。

实验结果

研究问题

• RQ1 不确定性图能否有效用于去雨网络中的注意力采样，以改善退化建模？
• RQ2 与固定窗口自注意力相比，自适应的全局退化特征采样在处理复杂雨迹模式时表现如何？
• RQ3 显式对不确定性特征进行排序对统一去雨性能有何影响？
• RQ4 轻量化 Transformer 架构是否能在不依赖昂贵神经架构搜索（NAS）或高计算量的前提下实现最先进性能？
• RQ5 所提方法在密集或大范围雨迹区域中如何保持精细细节？

主要发现

• 在 RainDS-Syn 基准测试中，UDR-S2Former 的 PSNR 达到 36.91，显著优于先前最先进方法。
• 消融实验表明，不确定性驱动排序与约束矩阵均至关重要，若移除任一组件，PSNR 下降超过 0.5 dB。
• 该模型在视觉质量方面表现优越，即使在密集重叠的雨痕与雨滴场景中，仍能保留精细细节与纹理。
• 与 Restormer、IDT 和 NAFNet 相比，UDR-S2Former 在真实雨景中输出更清晰，模糊与伪影更少。
• 该方法保持高效率，其内存占用与推理速度低于基于 NAS 或重型 Transformer 的模型，如补充实验所示。
• 不确定性图在退化区域表现出更高浓度，验证了将其用作注意力引导信号的设计合理性。