[论文解读] Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models

Ozan Özdenizci, Robert Legenstein|arXiv (Cornell University)|Jul 29, 2022

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

该论文提出一种基于图像块的去噪扩散模型，用于在恶劣天气条件下实现尺寸无关的图像修复，通过在重叠图像块上使用平滑噪声估计进行引导去噪。该方法在去雨、除雪、去雾和雨滴去除任务中均达到最先进性能，在真实世界图像上也表现出强大的泛化能力，同时可在仅配备12GB显存的单张GPU上进行推理。

ABSTRACT

Image restoration under adverse weather conditions has been of significant interest for various computer vision applications. Recent successful methods rely on the current progress in deep neural network architectural designs (e.g., with vision transformers). Motivated by the recent progress achieved with state-of-the-art conditional generative models, we present a novel patch-based image restoration algorithm based on denoising diffusion probabilistic models. Our patch-based diffusion modeling approach enables size-agnostic image restoration by using a guided denoising process with smoothed noise estimates across overlapping patches during inference. We empirically evaluate our model on benchmark datasets for image desnowing, combined deraining and dehazing, and raindrop removal. We demonstrate our approach to achieve state-of-the-art performances on both weather-specific and multi-weather image restoration, and experimentally show strong generalization to real-world test images.

研究动机与目标

• 为利用扩散模型解决恶劣天气条件下尺寸无关的图像修复挑战。
• 克服标准扩散模型在输入尺寸上存在固定限制的架构局限性。
• 通过统一的生成框架，实现高效且高质量地修复多种天气退化（如雪、雨、雾霾、雨滴）。
• 提升模型在真实世界测试图像上的泛化能力，超越合成基准测试的性能表现。
• 通过轻量级图像块处理方式降低扩散模型的计算需求，同时不牺牲性能。

提出的方法

• 该方法采用基于图像块的推理策略，其中重叠图像块独立处理，但共享扩散模型的权重。
• 通过在扩散采样过程中以输入图像为条件，实现引导去噪，并对重叠图像块之间的噪声估计进行平滑处理，以提升结果的一致性。
• 模型在多种天气退化类型的退化图像与干净图像配对数据上进行端到端训练，实现多类天气修复。
• 在低分辨率图像块上使用轻量级主干网络，降低显存与参数量需求，同时保持高质量生成效果。
• 该方法将扩散模型的架构与输入尺寸解耦，从而可使用针对特定分辨率设计的注意力机制。
• 推理阶段通过聚合去噪后的图像块输出，并处理重叠区域，重建出全分辨率图像。

实验结果

研究问题

• RQ1 去噪扩散模型能否被适配用于恶劣天气条件下的尺寸无关图像修复？
• RQ2 如何使扩散模型在有限GPU显存条件下，实现真实世界图像修复的实用性？
• RQ3 与现有端到端网络相比，基于图像块的扩散方法是否在未见的真实世界天气退化图像上具有更好的泛化能力？
• RQ4 单一生成模型能否有效同时修复多种类型的天气退化（如雪、雨、雾霾）？
• RQ5 在重叠图像块之间使用平滑噪声估计，如何影响修复质量与结果一致性？

主要发现

• 所提出的WeatherDiff 64模型在Snow100K-Real基准测试中，NIQE得分为2.985，IL-NIQE得分为22.121，优于TransWeather（NIQE：3.161，IL-NIQE：22.207）。
• 在RainDS真实世界雨滴去除数据集上，WeatherDiff 64的NIQE得分为3.050，IL-NIQE得分为19.800，显著优于TransWeather（NIQE：4.005，IL-NIQE：22.512）。
• 该模型可在仅配备12GB显存的单张GPU上完成全图修复，证明了其在标准扩散模型高计算需求背景下的实用性。
• 定性结果表明，在复杂场景中能更优地恢复细节，例如被雪或雨滴遮挡的树叶和石块。
• 640×432图像的推理时间为20.52秒，远长于端到端网络（TransWeather为0.88秒），凸显了其在速度上的权衡。
• 该方法在真实世界图像上泛化良好，体现在合成到真实基准测试中未见测试集的感知质量显著提升。