[论文解读] Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data

Minshuo Chen, Kaixuan Huang+2 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Neuroimaging Techniques and Applications被引用 8

一句话总结

该论文在数据位于未知的低维线性子空间时，分析扩散模型的分数近似、估计与分布恢复，并给出基于神经网络的方法及维度相关的样本复杂度保障。

ABSTRACT

Diffusion models achieve state-of-the-art performance in various generation tasks. However, their theoretical foundations fall far behind. This paper studies score approximation, estimation, and distribution recovery of diffusion models, when data are supported on an unknown low-dimensional linear subspace. Our result provides sample complexity bounds for distribution estimation using diffusion models. We show that with a properly chosen neural network architecture, the score function can be both accurately approximated and efficiently estimated. Furthermore, the generated distribution based on the estimated score function captures the data geometric structures and converges to a close vicinity of the data distribution. The convergence rate depends on the subspace dimension, indicating that diffusion models can circumvent the curse of data ambient dimensionality.

研究动机与目标

• 在数据具有内在低维结构时，推动对扩散模型的理论理解。
• 在低维子空间假设下，将分数函数分解为在子空间上的分量和正交分量。
• 提供用于分数函数的神经网络结构与近似保证。
• 给出分数估计和分布恢复的统计保证，避免环境维度诅咒。

提出的方法

• 提出带跳跃连接的编码-解码分数网络，用以在L2范数下近似分数函数（定理1）。
• 利用一个低维线性子空间模型，将数据的分数分解为在子空间上的部分和正交部分（引理1）。
• 使用去噪分数匹配来训练神经分数估计器，采用经验损失（方程6）。
• 推导分数估计的样本复杂度界限，依赖内在维度d（定理2）。
• 通过离散化的后向过程进行分布恢复的分析，并对子空间恢复和TV/W2误差进行界限（定理3）。
• 描述学习到的分数如何引导后向扩散以恢复数据几何而不受环境维度的影响。

Figure 1: Demonstration of score decomposition induces two backward processes.

实验结果

研究问题

• RQ1 当数据落在低维子空间上时，神经网络是否能准确近似并学习分数函数？
• RQ2 扩散模型是否能在学习到的分数函数下估计数据分布，内在几何与子空间结构如何影响样本复杂度？
• RQ3 哪些架构能够实现有效的分数近似？估计与分布恢复的样本复杂度是多少？
• RQ4 后向扩散过程如何捕捉数据几何并恢复数据子空间？

主要发现

• 在低维子空间假设下，分数函数可分解为在子空间上的分量和正交分量（引理1）。
• 带跳跃连接的编码-解码分数网络可在显式的L2保证下近似分数（定理1）。
• 神经分数估计器在L2下以依赖内在维度d的速率收敛到真实分数（定理2）。
• 通过学习到的分数进行的分布估计可收敛到数据分布的近似邻域；在TV距离上在子空间方向具有样本量相关的速率，正交方向趋向子空间（定理3）。
• 结果表明，当数据落在低维子空间时，扩散模型可以避免环境维度的诅咒。

Figure 2: Network architecture of ${\mathcal{S}}_{\rm NN}$ .