[论文解读] Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance

Dohyun Kwon, Ying Fan+1 more|arXiv (Cornell University)|Dec 13, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文通过证明 Wasserstein 距离的上界与 score matching 损失之间的关系，揭示了 score-based 生成模型实际上隐式最小化了生成分布与数据分布之间的 Wasserstein 距离。基于最优传输理论，论文表明 Wasserstein 距离受损失的平方根有界，仅受常数和偏移项影响，从而为模型在分布近似方面的经验成功提供了理论依据。

ABSTRACT

Score-based generative models are shown to achieve remarkable empirical performances in various applications such as image generation and audio synthesis. However, a theoretical understanding of score-based diffusion models is still incomplete. Recently, Song et al. showed that the training objective of score-based generative models is equivalent to minimizing the Kullback-Leibler divergence of the generated distribution from the data distribution. In this work, we show that score-based models also minimize the Wasserstein distance between them under suitable assumptions on the model. Specifically, we prove that the Wasserstein distance is upper bounded by the square root of the objective function up to multiplicative constants and a fixed constant offset. Our proof is based on a novel application of the theory of optimal transport, which can be of independent interest to the society. Our numerical experiments support our findings. By analyzing our upper bounds, we provide a few techniques to obtain tighter upper bounds.

研究动机与目标

• 为了从理论上理解 score-based 生成模型为何在实践中表现良好，而不仅仅是因为最小化 KL 散度。
• 为了探究 score-based 模型是否在未显式训练的情况下隐式最小化 Wasserstein 距离。
• 为了利用 score matching 目标函数建立 Wasserstein 距离的严格上界。
• 为了通过模型设计和训练选择提供改进理论边界紧致性的实用见解。

提出的方法

• 作者使用最优传输理论，通过连续性方程分析 score-based 模型中概率测度的时间演化。
• 他们利用来自 Fokker-Planck 方程和反向 SDE 动力学的速度场，推导出数据分布与模型分布之间 Wasserstein 距离的时间导数。
• 建立了一个关键不等式：Wasserstein 距离的变化率受 score matching 损失和利普希茨常数的函数有界。
• 该边界表示为 $ -\frac{d}{dt}W_2(p_t, q_t) \leq (L_f + L_s g^2)W_2(p_t, q_t) + g^2 b^{1/2} $，其中 $ b(t) $ 是期望平方得分误差。
• 基于 score matching 损失 $ J_{SM} $ 推导出 $ W_2(p_0, q_0) $ 的理论上界，表明其与 $ \sqrt{J_{SM}} $ 成比例。
• 数值实验验证了理论边界，并探索了通过调整时间范围 $ T $ 和噪声调度来收紧边界的策略。

实验结果

研究问题

• RQ1 score-based 生成建模是否隐式最小化了生成分布与数据分布之间的 Wasserstein 距离？
• RQ2 尽管模型未直接优化该目标，是否能使用 score matching 损失函数对 Wasserstein 距离建立上界？
• RQ3 时间范围 $ T $ 和噪声调度的选择如何影响 Wasserstein 距离理论上界的紧致性？
• RQ4 在真实训练中，有哪些实用技术可改善理论边界的紧致性？

主要发现

• 在乘法常数和固定偏移项的范围内，数据分布与模型分布之间的 Wasserstein 距离由 score matching 损失 $ J_{SM} $ 的平方根有界。
• 该边界通过最优传输理论以及沿 Fokker-Planck 和反向 SDE 过程轨迹的 Wasserstein 度量时间导数推导得出。
• 在适当假设下，作者证明了 $ J_{SM} \leq J_{DSM} $，表明更实用的 $ J_{DSM} $ 损失可作为控制 Wasserstein 距离的代理。
• 数值实验表明，随着 score matching 损失减小，KL 散度和 Wasserstein 距离也相应减小，支持了理论结论。
• 当时间范围 $ T $ 较大时（例如 $ T \geq 100 $），上界显著收紧，$ I(T)W_2(p_T, q_T) $ 几乎呈指数衰减。
• 模型对数据分布的初始扰动表现出鲁棒性，因为在此类变化下 Wasserstein 距离仍保持有界。