[论文解读] Residual Denoising Diffusion Models

Jiawei Liu, Qiang Wang+4 more|arXiv (Cornell University)|Aug 25, 2023

Advanced Neuroimaging Techniques and Applications被引用 4

一句话总结

该论文提出残差去噪扩散模型（RDDM），一种双扩散框架，将传统的去噪过程解耦为残差扩散（从目标图像到退化图像）和噪声扩散（随机扰动）。通过仅使用ℓ₁损失和批量大小为1，RDDM实现了可解释的、任务统一的图像生成与修复，训练迭代次数、参数量和推理时间均减少10倍，且在图像修复任务中达到最先进性能。

ABSTRACT

We propose residual denoising diffusion models (RDDM), a novel dual diffusion process that decouples the traditional single denoising diffusion process into residual diffusion and noise diffusion. This dual diffusion framework expands the denoising-based diffusion models, initially uninterpretable for image restoration, into a unified and interpretable model for both image generation and restoration by introducing residuals. Specifically, our residual diffusion represents directional diffusion from the target image to the degraded input image and explicitly guides the reverse generation process for image restoration, while noise diffusion represents random perturbations in the diffusion process. The residual prioritizes certainty, while the noise emphasizes diversity, enabling RDDM to effectively unify tasks with varying certainty or diversity requirements, such as image generation and restoration. We demonstrate that our sampling process is consistent with that of DDPM and DDIM through coefficient transformation, and propose a partially path-independent generation process to better understand the reverse process. Notably, our RDDM enables a generic UNet, trained with only an L1 loss and a batch size of 1, to compete with state-of-the-art image restoration methods. We provide code and pre-trained models to encourage further exploration, application, and development of our innovative framework (https://github.com/nachifur/RDDM).

研究动机与目标

• 为解决单一分解去噪扩散在图像修复中不可解释的问题，即前向过程缺乏关于退化输入的信息。
• 通过引入方向性残差扩散，将图像生成与修复统一于单一、可解释的扩散框架中。
• 在仅使用最小监督（如ℓ₁损失和批量大小1）的前提下实现有效训练，同时达到或超越最先进性能。
• 提供一种路径无关的采样机制，增强反向生成过程的鲁棒性与可解释性。
• 证明残差与噪声在扩散过程中扮演不同且互补的角色——确定性与多样性。

提出的方法

• RDDM将扩散过程分解为两个独立组件：残差扩散（从目标图像到退化输入）和噪声扩散（随机扰动），每个组件由独立的系数调度控制。
• 前向过程通过同时进行残差扩散和噪声扩散，将目标图像扩散至噪声状态，其中残差路径代表从清晰图像到退化图像的方向性变换。
• 反向过程通过系数变换与DDPM和DDIM保持一致，支持与现有采样方法的兼容性。
• 引入一种部分路径无关的生成过程，即先移除残差再去噪，仍能生成语义一致的图像，验证了模型的鲁棒性。
• 模型仅使用标准UNet结构，配合ℓ₁损失和批量大小1，即可在多种修复任务中实现优异性能。
• 该框架原生支持条件输入，无需架构修改即可直接应用于图像到图像翻译和修复任务。

实验结果

研究问题

• RQ1 能否通过显式建模残差与噪声分量的双扩散过程，在单一、可解释的框架中统一图像生成与修复？
• RQ2 对残差与噪声扩散系数的独立控制如何影响模型性能与采样一致性？
• RQ3 在仅使用简单ℓ₁损失和极小批量大小（1）的条件下，通用UNet在多大程度上能实现与最先进修复方法相当的性能？
• RQ4 RDDM中反向过程的路径无关性是否增强了其在多样化图像修复任务中的鲁棒性与泛化能力？
• RQ5 残差分量能否作为反向生成过程中的有意义、可解释的引导，而非先前方法中隐式的条件控制？

主要发现

• RDDM在ISTD数据集上进行阴影去除任务时达到最先进性能，相比SR3，PSNR和SSIM均提升10%，且训练迭代次数减少10倍，推理速度提升10倍。
• 模型训练仅需4.8GB GPU显存，可在资源受限系统中部署。
• 在批量大小为1和ℓ₁损失条件下，RDDM中的通用UNet模型性能超越了专用的最先进修复方法，证明了残差引导的有效性。
• 部分路径无关的采样过程表明，先去除残差再去噪仍能生成语义一致的图像，验证了模型的鲁棒性。
• RDDM的双系数调度允许独立控制残差与噪声扩散，从而更好地解耦生成过程中的确定性（残差）与多样性（噪声）。
• 该框架与DDPM和DDIM采样完全兼容，确保与现有扩散模型流程的向后兼容性。