[论文解读] Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

Yinhuai Wang, Jiwen Yu+1 more|arXiv (Cornell University)|Dec 1, 2022

Photoacoustic and Ultrasonic Imaging被引用 94

一句话总结

该论文提出 DDNM，一种零样本框架，使用预训练扩散模型通过仅在空域空间内容上进行细化来确保数据一致性与真实感，从而解决任意线性图像恢复任务；增强版 DDNM+ 处理噪声情况并提升恢复质量。

ABSTRACT

Most existing Image Restoration (IR) models are task-specific, which can not be generalized to different degradation operators. In this work, we propose the Denoising Diffusion Null-Space Model (DDNM), a novel zero-shot framework for arbitrary linear IR problems, including but not limited to image super-resolution, colorization, inpainting, compressed sensing, and deblurring. DDNM only needs a pre-trained off-the-shelf diffusion model as the generative prior, without any extra training or network modifications. By refining only the null-space contents during the reverse diffusion process, we can yield diverse results satisfying both data consistency and realness. We further propose an enhanced and robust version, dubbed DDNM+, to support noisy restoration and improve restoration quality for hard tasks. Our experiments on several IR tasks reveal that DDNM outperforms other state-of-the-art zero-shot IR methods. We also demonstrate that DDNM+ can solve complex real-world applications, e.g., old photo restoration.

研究动机与目标

• 在不同降解算子下，动机与解决任务特定 IR 方法缺乏泛化能力。
• 提出一个通用的零样本框架（DDNM），将 IR 视为一个范围-空域问题，并利用扩散模型在空域填充以实现真实感。
• 在不进行任务特定训练或网络修改的前提下，实现任意线性降解下的数据一致性。
• 扩展到 DDNM+，以处理带噪声的恢复并提升恢复质量，包括像老照片修复等真实场景。

提出的方法

• 将 IR 框定为带 A x = y 的范围-空域分解，x = A†y + (I - A†A) x。
• 使用预训练的扩散模型仅生成空域分量 (I - A†A) x，同时保持范围空间部分 A†y 固定以确保数据一致性。
• 通过重新参数化反向扩散，从 xt 估计 x0，x0|t = (1/√ᾱt)(xt − Zθ(xt, t)√(1 − ᾱt))。
• 通过将固定的范围空间 A†y 与学习得到的空域内容相结合来整流 x0|t：x̂0|t = A†y + (I − A†A) x0|t，并从 p(xt−1|xt, x̂0|t) 采样。
• 通过引入缩放矩阵 Σt 与 Φt 调整范围空间校正和扩散噪声来增强对噪声的鲁棒性；还包括一个时间穿越技巧以改善全局协调性与恢复质量。

实验结果

研究问题

• RQ1 一个预训练的扩散模型是否可以作为零样本先验来在不进行任务特定训练的情况下解决任意线性 IR 问题？
• RQ2 如何在使用范围-空域分解实现数据一致性的同时，在不同降解 (A 和 y) 下实现逼真的恢复？
• RQ3 所提出的时间穿越机制和噪声感知扩展（DDNM+）是否提高了在噪声或具有挑战性任务上的恢复质量和鲁棒性？
• RQ4 DDNM/DDNM+ 在现实世界降解（如老照片修复和真实噪声情景）中的实际适用性如何？

主要发现

• DDNM 在多项任务（SR、着色、CS、修复、去模糊）上实现零样本 IR 方法的最先进性能，且不需要任务特定训练。
• DDNM+ 显著提升去噪和恢复质量，时间穿越技巧在 Realness（更低的 FID）和一致性方面带来显著提升。
• 该方法通过范围空间分量 A†y 提供严格的数据一致性，同时利用基于扩散的空域细化实现真实感。
• DDNM/DDNM+ 对各种降解类型和真实世界降解表现出鲁棒性，能够应用于如老照片修复等场景。