[论文解读] Score-Based Generative Models Detect Manifolds

Jakiw Pidstrigach|arXiv (Cornell University)|Jun 2, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文建立了分数驱动生成模型（SGMs）在近似真实数据分布的情况下，仍能可靠地从底层低维数据流形 $\mathcal{M}$ 生成样本的理论条件。证明了 SGMs 即使在分布不准确或模型近似的情况下，也能检测并从正确的流形结构（如人脸或训练数据模式）生成样本，为扩散模型中的泛化与记忆机制提供了理论基础。

ABSTRACT

Score-based generative models (SGMs) need to approximate the scores $ abla \log p_t$ of the intermediate distributions as well as the final distribution $p_T$ of the forward process. The theoretical underpinnings of the effects of these approximations are still lacking. We find precise conditions under which SGMs are able to produce samples from an underlying (low-dimensional) data manifold $\mathcal{M}$. This assures us that SGMs are able to generate the "right kind of samples". For example, taking $\mathcal{M}$ to be the subset of images of faces, we find conditions under which the SGM robustly produces an image of a face, even though the relative frequencies of these images might not accurately represent the true data generating distribution. Moreover, this analysis is a first step towards understanding the generalization properties of SGMs: Taking $\mathcal{M}$ to be the set of all training samples, our results provide a precise description of when the SGM memorizes its training data.

研究动机与目标

• 理解分数驱动生成模型（SGMs）在何种条件下能从真实数据流形 $\mathcal{M}$ 生成样本，而非仅仅记忆训练数据。
• 通过刻画 SGMs 在记忆训练数据与学习底层数据流形之间的分界，分析其泛化特性。
• 建立 SGMs 在最终分布 $p_T$ 和梯度 $\nabla\log p_t$ 被近似时，仍能稳健地从正确流形生成样本的理论条件。
• 弥合关于先验和得分网络近似误差如何影响最终样本分布 $\mu_{\text{sample}}$ 的理论理解空白。

提出的方法

• 本文建模了 SGMs 的前向与反向 SDE，其中前向 SDE 将数据扩散为噪声，反向 SDE 从噪声中重构样本。
• 分析了前向 SDE 的边缘分布 $p_t$ 与标准正态分布 $n_t$ 之间的 KL 散度，证明在温和的矩条件之下，当 $t \to \infty$ 时，该散度趋于零。
• 分析利用 De Bruijn 恒等式与条件期望，将得分函数 $\nabla\log p_t$ 与初始数据在噪声观测下的 $L^2$ 投影联系起来。
• 证明若数据分布 $\mu_{\text{data}}$ 支持在半径为 $M$ 的球内，则当 $t \to \infty$ 时，KL 散度 $KL(p_t \| n_t) \to 0$，从而确保模型恢复正确的流形结构。
• 通过截断与控制收敛定理，将结果推广至一般分布，证明即使在无紧支集条件下，KL 散度仍收敛。
• 证明当得分网络与先验足够准确时，SGMs 能够检测数据流形 $\mathcal{M}$，即使最终分布未被完全匹配。

实验结果

研究问题

• RQ1 在何种条件下，分数驱动生成模型能生成位于真实数据流形 $\mathcal{M}$ 上的样本，即使分布未被完全恢复？
• RQ2 先验 $\mu_{\text{prior}}$ 与得分网络 $s_\theta(x,t)$ 的近似误差如何影响模型从正确流形生成样本的能力？
• RQ3 SGM 在何时记忆训练数据，何时泛化至底层数据流形？
• RQ4 在存在分布近似的情况下，反向 SDE 恢复正确流形结构的理论保证为何？
• RQ5 随着时问 $t$ 增大，前向 SDE 的边缘分布与标准正态分布之间的 KL 散度如何变化，这对流形检测意味着什么？

主要发现

• 当数据分布具有有限二阶矩时，KL 散度 $KL(p_t \| n_t)$ 随 $t \to \infty$ 收敛于零，确保前向过程遗忘初始条件，模型可恢复正确流形。
• 若数据分布支持在半径为 $M$ 的球内，则当 $t \to \infty$ 时，KL 散度 $KL(p_t \| n_t) \to 0$，这意味着反向 SDE 可从正确流形结构生成样本。
• 本文证明，即使得分函数 $\nabla\log p_t$ 被神经网络 $s_\theta(x,t)$ 近似，只要近似误差有界，SGMs 仍能检测数据流形 $\mathcal{M}$。
• 分析表明，只要前向过程遗忘初始条件，SGMs 即可在最终分布 $p_T$ 被先验 $\mu_{\text{prior}}$ 近似时，仍能从正确流形生成样本。
• 当得分网络良好地近似真实得分函数时，模型可泛化至底层数据流形；仅当模型未能检测到数据流形 $\mathcal{M}$ 的低维结构时，才会发生对训练数据的记忆。
• 该理论框架提供了 SGMs 记忆训练数据的精确条件：当模型未能检测到数据流形 $\mathcal{M}$ 的低维结构时。