[论文解读] Multi-Scale Progressive Fusion Network for Single Image Deraining

Kui Jiang, Zhongyuan Wang+6 more|arXiv (Cornell University)|Mar 24, 2020

Image Enhancement Techniques参考文献 41被引用 52

一句话总结

MSPFN 引入一种多尺度、渐进融合框架用于单幅图像去雨，利用高斯金字塔的跨尺度相关、基于 Conv-LSTM 的粗略融合，以及注意力引导的细化融合，以实现最先进的结果并提升下游视觉任务。

ABSTRACT

Rain streaks in the air appear in various blurring degrees and resolutions due to different distances from their positions to the camera. Similar rain patterns are visible in a rain image as well as its multi-scale (or multi-resolution) versions, which makes it possible to exploit such complementary information for rain streak representation. In this work, we explore the multi-scale collaborative representation for rain streaks from the perspective of input image scales and hierarchical deep features in a unified framework, termed multi-scale progressive fusion network (MSPFN) for single image rain streak removal. For similar rain streaks at different positions, we employ recurrent calculation to capture the global texture, thus allowing to explore the complementary and redundant information at the spatial dimension to characterize target rain streaks. Besides, we construct multi-scale pyramid structure, and further introduce the attention mechanism to guide the fine fusion of this correlated information from different scales. This multi-scale progressive fusion strategy not only promotes the cooperative representation, but also boosts the end-to-end training. Our proposed method is extensively evaluated on several benchmark datasets and achieves state-of-the-art results. Moreover, we conduct experiments on joint deraining, detection, and segmentation tasks, and inspire a new research direction of vision task-driven image deraining. The source code is available at \url{https://github.com/kuihua/MSPFN}.

研究动机与目标

• 在具有不同尺度和分辨率的雨丝条件下推动鲁棒去雨。
• 提出统一的多尺度表示，利用跨尺度和尺度内雨型的模式。
• 开发模块（CFM、FFM、RM），以渐进方式融合多尺度信息。
• 展示去雨性能提升以及对下游视觉任务的益处。

提出的方法

• 构建高斯金字塔雨图像以创建多尺度输入。
• 使用带 Conv-LSTM 的粗融合模块（CFM）来捕捉全局纹理和跨尺度相关性。
• 应用带通道注意力的细融合模块（FFM），以选择性地融合多尺度特征。
• 加入重建模块（RM）以回归残雨并产生去雨图像。
• 以将残雨的 Charbonnier 惩罚和高频细节的边缘损失结合的损失进行训练。

实验结果

研究问题

• RQ1 是否能够有效利用多尺度（跨尺度和尺度内）雨型来改进单幅图像去雨？
• RQ2 通过金字塔级别和网络阶段的渐进融合，是否比单尺度或非渐进多尺度方法获得更优的去雨质量？
• RQ3 提出的 MSPFN 组件（CFM、FFM、RM）是否对定量指标和视觉保真度均有正向贡献？
• RQ4 在应用于带雨干扰的图像时，MSPFN 对下游任务如目标检测和语义分割有何影响？

主要发现

• MSPFN 在多个合成数据集上实现了最先进的去雨性能。
• 多尺度渐进融合策略在恢复质量和训练效率上都带来提升。
• 联合评估显示 MSPFN 提升了带雨数据上的下游检测和分割性能。
• MSPFN 的轻量级变体在降低计算量的同时维持竞争力的去雨性能，便于移动/实时使用。