[论文解读] On the Design Fundamentals of Diffusion Models: A Survey

Ziyi Chang, George Alex Koulieris+2 more|arXiv (Cornell University)|Jun 7, 2023

Statistical Methods and Bayesian Inference被引用 46

一句话总结

本文提供了对扩散模型的全面、组件级的调查，详细介绍正向过程、反向过程与采样过程的设计选择，涵盖离散和连续两种表述。

ABSTRACT

Diffusion models are learning pattern-learning systems to model and sample from data distributions with three functional components namely the forward process, the reverse process, and the sampling process. The components of diffusion models have gained significant attention with many design factors being considered in common practice. Existing reviews have primarily focused on higher-level solutions, covering less on the design fundamentals of components. This study seeks to address this gap by providing a comprehensive and coherent review of seminal designable factors within each functional component of diffusion models. This provides a finer-grained perspective of diffusion models, benefiting future studies in the analysis of individual components, the design factors for different purposes, and the implementation of diffusion models.

研究动机与目标

• 围绕三个核心组件：正向过程、反向过程和采样过程，组织扩散模型设计基础。
• 提供细粒度、组件层面的评审，帮助分析、适用性和实现扩散模型。
• 比较离散和连续表述，并讨论数据属性和噪声设计如何影响学习与生成。

提出的方法

• 对正向过程的扩散模型设计选择进行综述与综合，涵盖噪声日程、噪声类型和转换链。
• 描述反向过程的架构与输出参数化，特别是基于 U-Net 和 Transformer 的去噪器，以及它们的训练方式。
• 解释采样过程以及预训练去噪器如何生成新数据，包括不同的输出参数化（x0、ε、score）。
• 呈现连续时间（SDE）与离散时间（DDPM）表述及其对理论与实践的影响。
• 讨论数据属性、潜在空间以及系统性转换作为提高表达能力与效率的设计杠杆。

实验结果

研究问题

• RQ1 正向过程的标准设计选择是什么？它们如何影响学习与生成？
• RQ2 反向过程应如何参数化并训练，以在各时间步准确去噪？
• RQ3 离散时间步与连续时间步对扩散建模的理论与实践有何影响？
• RQ4 噪声日程、噪声类型和转换链如何影响模型性能与收敛？
• RQ5 如何利用数据属性与潜在表示来提升扩散模型的表达能力？

主要发现

• 正向过程通过一个按时间顺序的链添加噪声，没有可训练参数，导致可解的终端分布。
• 离散 DDPM 与连续 SDE 表述在不同的数学表示下提供等效的结果，指引训练与采样。
• 噪声日程和噪声类型对探索与利用以及模型表达能力起关键作用。
• 反向过程通常被建模为带有可学习均值和固定或可学习方差的高斯分布，其参数化通过 x̂0、ε̂t 或 ŝt 等输出来实现。
• 常见的去噪架构包括 U-Net 和 Transformer，混合型通过跳跃连接和跨注意力平衡局部与全局依赖。
• 采样使用训练好的去噪器来逆转前向链，产生近似数据分布的样本。