[论文解读] Spontaneous Symmetry Breaking in Generative Diffusion Models

Gabriel Raya, Luca Ambrogioni|arXiv (Cornell University)|May 31, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文揭示了生成扩散模型中存在自发对称性破缺现象，即早期动力学在中心固定点附近稳定，随后过渡到数据流形样本的吸引子动力学。通过在接近不稳定性阈值处以高斯分布初始化后期采样，所提出的高斯后期启动（gls）方法将样本质量提升至多3倍FID降低，并增强了多样性，尤其在快速采样器中表现显著，且无需改变模型架构。

ABSTRACT

Generative diffusion models have recently emerged as a leading approach for generating high-dimensional data. In this paper, we show that the dynamics of these models exhibit a spontaneous symmetry breaking that divides the generative dynamics into two distinct phases: 1) A linear steady-state dynamics around a central fixed-point and 2) an attractor dynamics directed towards the data manifold. These two "phases" are separated by the change in stability of the central fixed-point, with the resulting window of instability being responsible for the diversity of the generated samples. Using both theoretical and empirical evidence, we show that an accurate simulation of the early dynamics does not significantly contribute to the final generation, since early fluctuations are reverted to the central fixed point. To leverage this insight, we propose a Gaussian late initialization scheme, which significantly improves model performance, achieving up to 3x FID improvements on fast samplers, while also increasing sample diversity (e.g., racial composition of generated CelebA images). Our work offers a new way to understand the generative dynamics of diffusion models that has the potential to bring about higher performance and less biased fast-samplers.

研究动机与目标

• 理解生成扩散模型背后的动力学机制，超越经验性能表现。
• 探究物理学中已知的自发对称性破缺是否存在于扩散模型的动力学中。
• 明确早期波动的作用及其对最终样本质量的无关性。
• 提出一种新初始化方案，利用对称性破缺以提升样本多样性与FID得分。
• 证明早期动力学对最终生成结果无显著贡献，从而实现更快、更高质量的采样。

提出的方法

• 作者分析扩散模型的随机微分方程（SDE）动力学，识别出一个中心固定点及临界不稳定性阈值。
• 通过SDE的漂移项与扩散项，解析推导出稳定性转变点，表明不稳定性触发对称性破缺。
• 提出一种新初始化方案——高斯后期启动（gls），即采样不从t=0开始，而是在稍晚时间sstart处开始，接近不稳定性阈值。
• 该方法使用以sstart为中心的高斯分布，避免早期波动被重新拉回固定点。
• 该方法在多个数据集（CelebA、CIFAR-10、ImageNet64、MNIST）上通过快速采样器（DDIM、DDPM）进行验证，采用不同去噪步数。
• 使用FID得分与多样性度量（如种族、性别、年龄分布）评估性能提升。

实验结果

研究问题

• RQ1 生成扩散模型的动力学是否表现出类似于物理系统的自发对称性破缺？
• RQ2 早期波动在最终样本质量中起什么作用？
• RQ3 能否通过在反向过程中接近不稳定性阈值的位置进行后期初始化，来提升快速采样性能？
• RQ4 后期初始化如何影响样本多样性，特别是种族与属性构成方面？
• RQ5 能否理论上识别出中心固定点变得不稳定的临界时间？

主要发现

• 生成扩散模型的动力学经历自发对称性破缺，从对称且固定点稳定的阶段，过渡到朝向数据流形样本的吸引子阶段。
• 早期波动在动力学上被重新拉回中心固定点，因此对最终样本的多样性与质量无贡献。
• 高斯后期启动（gls）初始化在快速采样器上将FID降低至多3倍，例如在CelebA64上使用5步去噪时，FID从44.61降至5.24。
• 在MNIST上，gls-DDIM在sstart=400时，FID为6.95（5步），而标准DDPM在sstart=800时FID为13.25。
• gls方法提升了样本多样性，如CelebA64样本中种族与性别构成更均衡，属性分布更平衡。
• 中心固定点的不稳定性阈值被理论推导并实证验证于多个数据集与模型架构。