[论文解读] Numerical Gaussian Processes for Time-dependent and Non-linear Partial Differential Equations

Maziar Raissi, Paris Perdikaris+1 more|arXiv (Cornell University)|Mar 29, 2017

Gaussian Processes and Bayesian Inference参考文献 17被引用 16

一句话总结

本文提出数值高斯过程——通过时间依赖且非线性的偏微分方程（PDEs）的时间离散化构建的高斯过程先验——以在初始数据存在噪声时实现解的不确定性量化。通过将物理定律直接嵌入协方差结构中，利用欧拉法和龙格-库塔法等数值格式，该方法提供具有量化不确定性的概率解，实现二阶精度，并在长时间积分中保持稳健的误差传播。

ABSTRACT

We introduce the concept of numerical Gaussian processes, which we define as Gaussian processes with covariance functions resulting from temporal discretization of time-dependent partial differential equations. Numerical Gaussian processes, by construction, are designed to deal with cases where: (1) all we observe are noisy data on black-box initial conditions, and (2) we are interested in quantifying the uncertainty associated with such noisy data in our solutions to time-dependent partial differential equations. Our method circumvents the need for spatial discretization of the differential operators by proper placement of Gaussian process priors. This is an attempt to construct structured and data-efficient learning machines, which are explicitly informed by the underlying physics that possibly generated the observed data. The effectiveness of the proposed approach is demonstrated through several benchmark problems involving linear and nonlinear time-dependent operators. In all examples, we are able to recover accurate approximations of the latent solutions, and consistently propagate uncertainty, even in cases involving very long time integration.

研究动机与目标

• 开发一种数据高效的学习框架，将PDE中的物理定律作为结构化先验信息嵌入机器学习模型中。
• 量化并传播由于初始或边界数据存在噪声而导致的时间依赖且非线性PDE解中的不确定性。
• 通过构建由时间推进格式导出的协方差函数的高斯过程，统一经典数值分析与贝叶斯推断。
• 在不进行微分算子空间离散化的情况下实现PDE的概率解，保持物理一致性。
• 为不确定性感知的数值方法建立基础，自然处理噪声观测和长时间积分。

提出的方法

• 该方法在先前时间步的解上定义高斯过程先验，其协方差函数源自欧拉法和龙格-库塔法等时间离散化格式。
• 连续时间步上解状态的联合分布构成一个多输出高斯过程，其中交叉协方差编码了数值时间推进规则。
• 由此产生的数值高斯过程显式地将PDE算子和时间积分格式嵌入核结构中，确保物理一致性。
• 该方法通过直接在解函数上施加先验，避免空间离散化，从而实现非参数贝叶斯推断。
• 它使用高斯过程回归计算后验均值和方差，提供预测结果和不确定性估计。
• 通过针对具体问题应用相同原理，将该框架扩展至非线性PDE，利用已知的数值格式。

实验结果

研究问题

• RQ1 如何系统地将编码于PDE中的物理定律作为结构化先验嵌入机器学习模型？
• RQ2 能否将数值时间积分格式重新解释为概率框架中的协方差函数，以实现不确定性量化？
• RQ3 当初始数据存在噪声时，该方法如何在长时间积分中传播不确定性？
• RQ4 与经典格式相比，所得数值高斯过程的收敛行为和精度如何？
• RQ5 该框架能否推广至非线性和时间依赖的PDE，同时保持稳定性和精度？

主要发现

• 当使用梯形法则的龙格-库塔版本时，该方法在热方程中实现了相对L²误差的二阶时间收敛。
• 随着初始数据点和人工数据点数量的增加，相对空间L²误差减小，表明具有数据效率和鲁棒性。
• 数值高斯过程在长时间积分中成功传播了不确定性，即使初始数据存在噪声，也能保持一致的后验方差估计。
• 该框架在所有基准问题中均恢复了对潜在解的准确近似，包括线性和非线性PDE。
• 在数据稀缺和观测存在噪声的情境下，该方法通过提供完整的后验分布，优于经典确定性方法。
• 该方法表现出最优的收敛速率，并在长时间模拟中保持稳定性，经空间和时间收敛性研究验证。