[论文解读] Spectral-Structured Diffusion for Single-Image Rain Removal

Yucheng Xing, Xin Wang|arXiv (Cornell University)|Mar 10, 2026

Image Enhancement Techniques被引用 0

一句话总结

SpectralDiff 引入了一个用于单图雨天去除的光谱结构扩散框架，结合频率感知扰动和全乘积 U-Net 提高效率，在较低模型复杂度和更快推理下实现具有竞争力的去雨性能。

ABSTRACT

Rain streaks manifest as directional and frequency-concentrated structures that overlap across multiple scales, making single-image rain removal particularly challenging. While diffusion-based restoration models provide a powerful framework for progressive denoising, standard spatial-domain diffusion does not explicitly account for such structured spectral characteristics. We introduce SpectralDiff, a spectral-structured diffusion-based framework tailored for single-image rain removal. Rather than redefining the diffusion formulation, our method incorporates structured spectral perturbations to guide the progressive suppression of multi-directional rain components. To support this design, we further propose a full-product U-Net architecture that leverages the convolution theorem to replace convolution operations with element-wise product layers, improving computational efficiency while preserving modeling capacity. Extensive experiments on synthetic and real-world benchmarks demonstrate that SpectralDiff achieves competitive rain removal performance with improved model compactness and favorable inference efficiency compared to existing diffusion-based approaches.

研究动机与目标

• 通过利用雨丝的光谱结构来驱动鲁棒的单图去雨。
• 提出一个扩散框架，在逐步去除雨的过程中注入频率感知、方向性扰动。
• 开发一个高效的算子级别 U-Net（全乘积），在不牺牲性能的前提下降低计算量。
• 在合成雨和真实世界雨数据集上评估鲁棒性，并将效率与基于扩散的基线方法进行比较。

提出的方法

• 将雨建模为分层叠加结构，并将扩散步骤与雨层对齐。
• 在频域中引入带有方向和尺度编码的掩码的光谱结构扰动（径向与角向分量）。
• 定义带有复高斯噪声的前向光谱扩散，并由 M_d 掩蔽，以及对输入图像条件化的对应反向去噪。
• 训练去噪网络以预测由掩蔽光谱噪声引起的时空扰动，使其能够在时空域中操作。
• 用一个使用输入条件、动态生成的 1x1 卷积来近似光谱滤波、并减少 FLOPs 的全乘积 U-Net 取代标准卷积。
• 推理阶段基于基于估计雨方向的非均匀 DDIM 式时间表，以提高效率和方向一致性。

实验结果

研究问题

• RQ1 如何编码雨丝的光谱结构以引导基于扩散的恢复？
• RQ2 在频域掩码和方向性偏置的加入是否比传统的空间扩散更有利于去雨？
• RQ3 全乘积 U-Net 能否在降低计算成本的同时达到与扩散去雨基线相当的性能？
• RQ4 SpectralDiff 如何在合成与真实雨场景中实现泛化？

主要发现

• SpectralDiff 在 Rain1400 和 RainCityscapes 上实现了具有竞争力的 PSNR/SSIM，在 SPA-Data 的真实场景表现更优。
• 方法在 10 步扩散内即可收敛，整体延迟低于扩散基线。
• 带有掩码的结构化光谱扰动至关重要；朴素的光谱变体表现不佳。
• 全乘积 U-Net 能显著降低 FLOPs 和参数量，同时性能损失最小。
• SpectralDiff 在合成与真实雨条件下均表现稳健，与基线相比具备更高的效率。