[论文解读] Multi-Stage Progressive Image Restoration

Syed Waqas Zamir, Aditya Arora+5 more|arXiv (Cornell University)|Feb 4, 2021

Advanced Image Processing Techniques参考文献 100被引用 52

一句话总结

MPRNet 提出一个三阶段、渐进式的图像修复框架，将编码器-解码器上下文学习与最终高分辨率阶段相结合，使用监督注意力和跨阶段特征融合，在十个数据集上实现最先进的去雨、去模糊和去噪。

ABSTRACT

Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images. In this paper, we propose a novel synergistic design that can optimally balance these competing goals. Our main proposal is a multi-stage architecture, that progressively learns restoration functions for the degraded inputs, thereby breaking down the overall recovery process into more manageable steps. Specifically, our model first learns the contextualized features using encoder-decoder architectures and later combines them with a high-resolution branch that retains local information. At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features. A key ingredient in such a multi-stage architecture is the information exchange between different stages. To this end, we propose a two-faceted approach where the information is not only exchanged sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information. The resulting tightly interlinked multi-stage architecture, named as MPRNet, delivers strong performance gains on ten datasets across a range of tasks including image deraining, deblurring, and denoising. The source code and pre-trained models are available at https://github.com/swz30/MPRNet.

研究动机与目标

• 通过多阶段架构将图像修复分解为可管理的子任务。
• 通过结合编码器-解码器和原始分辨率处理平衡上下文信息和细微空间细节。
• 通过阶段性监督和跨阶段特征融合实现渐进学习。
• 通过跨阶段连接保持信息流以稳定训练。

提出的方法

• 在早期阶段使用编码器-解码器子网络学习多尺度上下文特征。
• 在最后阶段在原始图像分辨率下工作，以保留细节。
• 在阶段之间引入一个监督注意力模块（SAM），使用真值引导重新加权特征。
• 引入跨阶段特征融合（CSFF），将多尺度上下文特征在各阶段之间传播。
• 在每个阶段预测残差并加到降级输入以获得 X_S。
• 端到端训练，联合损失包括 Charbonnier 损失和边缘损失。
• 使用通道注意力块和带有原始分辨率块的 ORSNet 以保持细节。

实验结果

研究问题

• RQ1 一个将多尺度上下文特征与高分辨率细节融合的多阶段架构是否能在去雨、去模糊和去噪方面提升修复质量？
• RQ2 通过对中间阶段进行监督并使用逐像素注意力重新加权特征，是否能改善渐进式修复？
• RQ3 跨阶段特征融合对信息流和训练稳定性的影响如何？
• RQ4 模型在合成与真实世界降解数据上的泛化能力如何？

主要发现

• MPRNet 在十个合成与真实世界数据集上实现了去雨、去模糊和去噪的最先进性能。
• 监督注意力模块和跨阶段特征融合提供了显著的增益；在消融实验中，移除 SAM 的 PSNR 下降约 0.42–0.63 dB，移除 CSFF 的 PSNR 下降约 0.16–0.18 dB。
• 与 MSPFN 相比，MPRNet 在去雨方面实现约 20% 的相对 PSNR 提高，同时参数更少、运行时更快。
• 最后阶段在原始分辨率下工作有助于保留细微的空间细节，而早期的编码器-解码器阶段捕捉上下文。
• 阶段式指导使得第一阶段轻量、快速，后续阶段逐步变强，实现资源高效的可扩展性。