[论文解读] Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions

Sitan Chen, Sinho Chewi+4 more|arXiv (Cornell University)|Sep 22, 2022

Bayesian Methods and Mixture Models被引用 15

一句话总结

本文在最少数据假设下，首次为基于得分的生成模型（SGMs）提供了多项式时间收敛保证，表明准确的 $L^2$-范数得分估计足以实现从任意现实数据分布中的高效采样。关键结果表明，当得分误差为 $ ilde{O}(ar{\varepsilon})$ 时，SGMs 在 $W_2$ 距离上达到 $ar{\varepsilon}$-精度，与离散化朗之万扩散的最先进复杂度界相匹配。

ABSTRACT

We provide theoretical convergence guarantees for score-based generative models (SGMs) such as denoising diffusion probabilistic models (DDPMs), which constitute the backbone of large-scale real-world generative models such as DALL$\cdot$E 2. Our main result is that, assuming accurate score estimates, such SGMs can efficiently sample from essentially any realistic data distribution. In contrast to prior works, our results (1) hold for an $L^2$-accurate score estimate (rather than $L^\infty$-accurate); (2) do not require restrictive functional inequality conditions that preclude substantial non-log-concavity; (3) scale polynomially in all relevant problem parameters; and (4) match state-of-the-art complexity guarantees for discretization of the Langevin diffusion, provided that the score error is sufficiently small. We view this as strong theoretical justification for the empirical success of SGMs. We also examine SGMs based on the critically damped Langevin diffusion (CLD). Contrary to conventional wisdom, we provide evidence that the use of the CLD does not reduce the complexity of SGMs.

研究动机与目标

• 在现实且最少的假设下，为基于得分的生成模型（SGMs）提供理论收敛保证。
• 弥合 SGMs（如 DDPMs）在高维、非对数凸设置下经验成功与理论理解之间的差距。
• 表明 $L^2$-准确的得分估计——与标准得分匹配目标一致——足以实现可证明的收敛。
• 证明临界阻尼朗之万扩散（CLD）在采样复杂度上并不优于标准朗之万动力学。

提出的方法

• 分析依赖于 SGMs 的前向和反向随机过程：前向过程将数据扩散为噪声，反向过程则利用得分估计恢复数据。
• 在得分利普希茨连续性、有限二阶矩以及相对于标准高斯分布的有限 KL 散度等假设下，通过生成分布与真实数据分布之间的 $W_2$ 距离建立收敛性。
• 核心论证利用分部积分和高斯恒等式，将 $L^2$ 得分估计误差与生成分布相对于目标的 $W_2$ 距离联系起来。
• 利用短时间正则化结果，对时间 $t$ 时前向过程分布的 KL 散度进行有界，确保其保持良好行为。
• 该方法避免使用强函数不等式（如 LSI 或对数凸性），从而能够分析高度多模态且非对数凸的数据分布。
• 比较了使用标准朗之万扩散与临界阻尼朗之万扩散（CLD）的 SGMs 复杂度，表明 CLD 在渐近意义上并无优势。

实验结果

研究问题

• RQ1 在最少假设下，基于得分的生成模型能否高效收敛到真实数据分布？
• RQ2 $L^2$-准确的得分估计是否足以实现可证明的收敛，还是必须达到 $L^\infty$-精度？
• RQ3 能否在不假设对数凸性或 LSI 等函数不等式的情况下建立收敛保证？
• RQ4 临界阻尼朗之万扩散（CLD）是否能降低 SGMs 相对于标准朗之万动力学的采样复杂度？
• RQ5 收敛误差对维度、得分误差和数据分布特性等参数的多项式依赖关系如何？

主要发现

• 在得分 $L$-利普希茨连续、二阶矩有限且相对于标准高斯分布 KL 散度有限的条件下，SGMs 以多项式复杂度实现 $\varepsilon$-精度的 $W_2$ 距离收敛。
• 收敛速率在所有参数（包括维度 $d$）上均呈多项式依赖，且与离散化朗之万扩散的最佳已知界一致。
• 该分析适用于任意非对数凸的数据分布，包括多模态分布，而先前工作通常需要 LSI 或对数凸性假设。
• 允许得分估计误差为 $L^2$-准确，这与标准得分匹配目标一致，且比 $L^\infty$-准确更符合实际。
• 临界阻尼朗之万扩散（CLD）在相同得分误差下，其采样复杂度并不低于标准朗之万动力学。
• 当 $\varepsilon \ll \sqrt{d}$ 时，时间 $t \asymp \varepsilon^2 / (\sqrt{d} (R \vee \sqrt{d}))$ 下，有 $W_2(q, q_t) \leq \varepsilon$ 且 $\mathsf{KL}(q_t \| \gamma^d) \lesssim \sqrt{d} (R \vee \sqrt{d})^3 / \varepsilon^2$。