[论文解读] Score-based Diffusion Models in Function Space

Jae Hyun Lim, Nikola Kovachki+11 more|arXiv (Cornell University)|Feb 14, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出了去噪扩散算子（Denoising Diffusion Operators, DDOs），一种在函数空间中直接训练基于得分的扩散模型的数学上严谨的框架，实现了对连续函数型数据的生成建模。通过将前向过程表述为高斯过程，反向过程通过函数值的朗之万动力学实现，DDOs 实现了固定计算成本下的分辨率无关生成，在纳维-斯托克斯方程解、InSAR 数据以及 MNIST-SDF 上均实现了高保真采样。

ABSTRACT

Diffusion models have recently emerged as a powerful framework for generative modeling. They consist of a forward process that perturbs input data with Gaussian white noise and a reverse process that learns a score function to generate samples by denoising. Despite their tremendous success, they are mostly formulated on finite-dimensional spaces, e.g., Euclidean, limiting their applications to many domains where the data has a functional form, such as in scientific computing and 3D geometric data analysis. This work introduces a mathematically rigorous framework called Denoising Diffusion Operators (DDOs) for training diffusion models in function space. In DDOs, the forward process perturbs input functions gradually using a Gaussian process. The generative process is formulated by a function-valued annealed Langevin dynamic. Our approach requires an appropriate notion of the score for the perturbed data distribution, which we obtain by generalizing denoising score matching to function spaces that can be infinite-dimensional. We show that the corresponding discretized algorithm generates accurate samples at a fixed cost independent of the data resolution. We theoretically and numerically verify the applicability of our approach on a set of function-valued problems, including generating solutions to the Navier-Stokes equation viewed as the push-forward distribution of forcings from a Gaussian Random Field (GRF), as well as volcano InSAR and MNIST-SDF.

研究动机与目标

• 为解决现有扩散模型仅作用于有限维空间的局限性，避免其在偏微分方程解和三维几何数据等函数型数据领域中的应用受限。
• 构建一个在无限维函数空间中基于得分的扩散模型的理论严谨框架，避免依赖离散化或潜在空间映射的近似方法。
• 通过引入结构化噪声和一种新型函数空间得分匹配方法，实现高效且分辨率无关的采样。

提出的方法

• 将前向扩散过程表述为使用高斯过程扰动输入函数，以空间相关结构化噪声替代白噪声，确保在不同分辨率下的稳定性。
• 将反向生成过程定义为函数值的朗之万动力学，实现在函数空间中的迭代去噪。
• 将去噪得分匹配推广至无限维希尔伯特空间，推导出避免奇异测度的损失函数，实现稳定训练。
• 在改进的 UNet 架构中采用谱卷积与傅里叶空间归一化，构建尊重分辨率不变性的神经算子。
• 通过傅里叶变换构建卷积形式的高斯测度，高效地在网格结构数据上采样前向过程。
• 采用余弦噪声调度和正弦模糊调度，以稳定训练并提升函数空间扩散中的采样质量。

Figure 1 : Overview of our approach . While in the finite-dimensional case, inputs are discretized, we work directly in function space, on continuous inputs, here 1D functions on $\mathbb{{R}}$ . Noise is first added to the training samples during the forward process. A Neural Operator is used to es

实验结果

研究问题

• RQ1 基于得分的扩散模型能否在不依赖有限维离散化或潜在空间映射的前提下，严格扩展至无限维函数空间？
• RQ2 如何为函数空间上的概率测度推导出稳定且分辨率无关的得分匹配目标？
• RQ3 何种噪声结构可在不增加模型容量的前提下，实现函数空间中的高效学习？
• RQ4 在不同类型的函数型数据上，该方法与现有方法相比在采样质量和泛化能力方面表现如何？
• RQ5 该框架能否生成复杂函数型数据（如偏微分方程解和符号距离函数）的高保真样本？

主要发现

• 所提出的 DDO 框架实现了分辨率无关的生成，推理成本与数据分辨率无关，支持对连续函数的可扩展采样。
• 该方法能从高斯随机场激励中生成纳维-斯托克斯方程解的高保真样本，准确恢复复杂流体动力学特征。
• 在火山 InSAR 数据集上，DDOs 生成了具有精细空间细节的真实干涉图，优于依赖离散化的基线方法。
• 对于 MNIST-SDF，模型生成了清晰、多样且结构准确的手写数字符号距离函数表示。
• 通过卷积形式的高斯测度实现的结构化噪声，使训练更加稳定，并避免了先前无限维扩散模型中出现的无穷损失问题。
• UNet 架构中采用的谱卷积与傅里叶空间归一化，确保了分辨率不变性，并提升了在不同输入网格上的泛化能力。

(a)