[论文解读] On Analyzing Generative and Denoising Capabilities of Diffusion-based Deep Generative Models

Kamil Rafał Deja, Anna Kuzina+2 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

该论文提出DAED，一种基于扩散的生成模型架构，通过将去噪自编码器（DAE）与基于扩散的生成器相结合，显式分离去噪与生成功能。该方法通过让DAE专注于去噪、扩散模型专注于信号生成，提升了模型的可迁移性与重建平滑度，在CIFAR10、CIFAR100和CelebA数据集上的去噪任务中表现优于标准DDGM，平均绝对误差（MAE）更低（例如0.065 vs. 0.085），结构相似性（MS-SSIM）更高（例如0.97 vs. 0.95）。

ABSTRACT

Diffusion-based Deep Generative Models (DDGMs) offer state-of-the-art performance in generative modeling. Their main strength comes from their unique setup in which a model (the backward diffusion process) is trained to reverse the forward diffusion process, which gradually adds noise to the input signal. Although DDGMs are well studied, it is still unclear how the small amount of noise is transformed during the backward diffusion process. Here, we focus on analyzing this problem to gain more insight into the behavior of DDGMs and their denoising and generative capabilities. We observe a fluid transition point that changes the functionality of the backward diffusion process from generating a (corrupted) image from noise to denoising the corrupted image to the final sample. Based on this observation, we postulate to divide a DDGM into two parts: a denoiser and a generator. The denoiser could be parameterized by a denoising auto-encoder, while the generator is a diffusion-based model with its own set of parameters. We experimentally validate our proposition, showing its pros and cons.

研究动机与目标

• 探究DDGM中的反向扩散过程是否从生成功能过渡到去噪功能。
• 理解去噪与生成能力之间的平衡如何影响模型性能。
• 评估DDGM的去噪组件是否可泛化至其他数据分布。
• 提出并验证一种新型模型架构DAED，通过显式分离去噪与生成功能，以提升性能与可解释性。

提出的方法

• 作者分析前向与反向扩散步骤中的噪声分布与重建误差，以识别生成与去噪行为之间的流体过渡点。
• 提出DAED，一种两阶段模型：去噪自编码器（DAE）负责噪声去除，独立的扩散模型则从噪声生成信号。
• DAE训练为从含噪输入重建干净图像，而扩散模型则从纯噪声生成样本，从而解耦两项功能。
• 该方法使用标准VLB损失进行训练，并在CIFAR10、CIFAR100和CelebA数据集上使用MAE与MS-SSIM评估性能。
• 实验将DAED与使用VLB和简化目标函数训练的标准DDGM进行对比，采用预训练模型与固定噪声水平（β₁ = 0.1）。
• 作者对图像重建与跨数据集迁移能力进行了定性与定量分析，以评估泛化能力。

实验结果

研究问题

• RQ1 反向扩散过程中是否存在一个流体过渡点，使功能从生成转变为去噪？
• RQ2 将DDGM拆分为去噪器与生成器后，对性能与训练稳定性有何影响？
• RQ3 DDGM的去噪组件是否可泛化至未见数据分布，例如从ImageNet迁移到CelebA？
• RQ4 显式分离去噪与生成功能的模型（DAED）是否可在重建与迁移任务中超越标准DDGM？

主要发现

• DAED在去噪任务中优于标准DDGM，在CIFAR10上实现更低的平均绝对误差（MAE）0.065，而DDGM为0.085。
• DAED获得更高的多尺度结构相似性（MS-SSIM）得分，在CIFAR10上达到0.97，高于标准DDGM的0.95。
• 在从ImageNet迁移到CelebA时，DAED在ImageNet上训练后实现MAE 0.050与MS-SSIM 0.98，优于DDGM的MAE 0.077与MS-SSIM 0.96。
• 定性结果表明，DDGM在去噪过程中倾向于添加源自源分布的伪影与细节，而DAED生成更平滑、更一致的重建结果。
• DAED中的DAE组件在未见数据分布上泛化良好，表明去噪功能具有较强的可迁移性。
• DAED使用标准VLB目标函数训练时简化了训练流程并提升了性能，但使用简化目标函数训练时因过度平滑导致性能下降。