[论文解读] Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image Synthesis

Sangyun Lee, Hyungjin Chung+2 more|arXiv (Cornell University)|Jul 16, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了一种新颖的从粗到精的图像生成框架，通过在频率感知的扩散过程中进行渐进式去模糊。通过将扩散模型推广至具有频率依赖扩散速度的旋转坐标系中，该方法应用模糊扩散——即首先对低频分量进行去模糊——从而在 LSUN bedroom 和 church 数据集上相比标准扩散模型取得了更优的 FID 分数。

ABSTRACT

Recently, diffusion models have shown remarkable results in image synthesis by gradually removing noise and amplifying signals. Although the simple generative process surprisingly works well, is this the best way to generate image data? For instance, despite the fact that human perception is more sensitive to the low frequencies of an image, diffusion models themselves do not consider any relative importance of each frequency component. Therefore, to incorporate the inductive bias for image data, we propose a novel generative process that synthesizes images in a coarse-to-fine manner. First, we generalize the standard diffusion models by enabling diffusion in a rotated coordinate system with different velocities for each component of the vector. We further propose a blur diffusion as a special case, where each frequency component of an image is diffused at different speeds. Specifically, the proposed blur diffusion consists of a forward process that blurs an image and adds noise gradually, after which a corresponding reverse process deblurs an image and removes noise progressively. Experiments show that the proposed model outperforms the previous method in FID on LSUN bedroom and church datasets. Code is available at https://github.com/sangyun884/blur-diffusion.

研究动机与目标

• 为解决标准扩散模型在优先处理频率分量方面存在的局限性，其处理方式与人类对低频内容的感知敏感性不一致。
• 开发一种自然支持从粗到精图像合成的生成过程，而无需依赖单独的上采样模块或预定义的阶段。
• 通过在旋转坐标系中建模扩散，实现频率自适应，从而为图像数据引入归纳偏置。
• 通过在生成过程早期强调全局结构和低频分量，提升样本质量和 FID 表现。

提出的方法

• 通过使用正交矩阵 U 引入旋转坐标系，将标准扩散模型推广，实现各频率分量独立的扩散速度。
• 定义广义前向过程，其中每个频率分量通过频率依赖的缩放矩阵 Df(i) 以不同速率扩散，由函数 f(i) 控制。
• 提出模糊扩散作为特殊情况：前向过程逐步模糊图像并添加噪声，反向过程则逐步去模糊和去噪。
• 通过 SDE 离散化推导反向扩散采样器，引入基于得分的校正项 sθ(x_i, i) 以引导去模糊过程。
• 采用 UNet 架构，使用线性噪声调度和 1000 个扩散步骤，基于 LSUN 数据集进行训练，参数量为 121M，使用单张 V100 GPU。
• 采用频率感知的噪声调度，通过傅里叶变换的特征值调制扩散速度，实现在生成早期恢复粗略结构。

实验结果

研究问题

• RQ1 通过频率自适应扩散优先处理低频分量的扩散模型，是否能提升图像合成质量？
• RQ2 在旋转频率空间中进行渐进式去模糊，与标准扩散模型相比，在 FID 和感知质量方面表现如何？
• RQ3 是否可以在不使用显式上采样头或多阶段训练的情况下实现从粗到精的图像生成？
• RQ4 频率依赖的扩散是否能减少扩散模型中对高分辨率细化阶段的需求？
• RQ5 该方法在 LSUN bedroom 和 church 等标准基准上的性能相比标准扩散模型有何提升？

主要发现

• 所提出的模糊扩散模型在 LSUN bedroom 数据集上的 Fréchet Inception Distance (FID) 低于标准扩散模型，证明了样本质量的提升。
• 在 LSUN church 数据集上，该模型的 FID 分数也低于基线，确认了在不同图像领域中的一致性能增益。
• 该方法成功实现了无需单独上采样器或多阶段训练的从粗到精图像合成，简化了网络结构。
• 频率感知的扩散过程通过在生成早期强调全局结构和低频分量，提升了感知质量。
• 消融实验证实，频率依赖的扩散速度对性能增益至关重要，随机或均匀调度会导致性能下降。
• 在所评估的基准上，该模型在单阶段扩散模型中达到了最先进的 FID 表现，优于依赖独立上采样组件的先前方法。