[论文解读] Random Grid Neural Processes for Parametric Partial Differential Equations

Arnaud Vadeboncoeur, Ieva Kazlauskaite+4 more|arXiv (Cornell University)|Jan 26, 2023

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文提出随机网格神经过程（Random Grid Neural Processes），一种物理信息的变分推理框架，将空间配点网格视为随机变量，以实现针对参数化偏微分方程（PDEs）的不确定性感知、可扩展学习。通过结合空间统计、高斯过程以及一种新型的网格不变卷积网络（GICNet），该方法在非线性泊松方程、伯吉斯方程和纳维-斯托克斯方程的前向与反向问题中，提升了预测准确性和不确定性量化能力，相较于现有方法在计算效率和对噪声数据及非规则采样数据的鲁棒性方面表现更优。

ABSTRACT

We introduce a new class of spatially stochastic physics and data informed deep latent models for parametric partial differential equations (PDEs) which operate through scalable variational neural processes. We achieve this by assigning probability measures to the spatial domain, which allows us to treat collocation grids probabilistically as random variables to be marginalised out. Adapting this spatial statistics view, we solve forward and inverse problems for parametric PDEs in a way that leads to the construction of Gaussian process models of solution fields. The implementation of these random grids poses a unique set of challenges for inverse physics informed deep learning frameworks and we propose a new architecture called Grid Invariant Convolutional Networks (GICNets) to overcome these challenges. We further show how to incorporate noisy data in a principled manner into our physics informed model to improve predictions for problems where data may be available but whose measurement location does not coincide with any fixed mesh or grid. The proposed method is tested on a nonlinear Poisson problem, Burgers equation, and Navier-Stokes equations, and we provide extensive numerical comparisons. We demonstrate significant computational advantages over current physics informed neural learning methods for parametric PDEs while improving the predictive capabilities and flexibility of these models.

研究动机与目标

• 开发一种概率性、可扩展的框架，用于求解参数化PDEs中的前向与反向问题，同时考虑配点网格中的不确定性。
• 通过将空间网格视为需通过变分推理进行边缘化的随机变量，克服固定网格深度学习模型的局限性。
• 实现将来自任意测量位置的噪声数据与非规则采样数据，以有原则的方式整合进物理信息学习中。
• 在保持强不确定性量化能力的同时，提升参数化PDE学习中的计算效率与预测鲁棒性。
• 通过整合空间统计与高斯过程建模，将PDE的深度学习方法从确定性、网格锁定的架构中拓展出来。

提出的方法

• 该方法为空间域分配概率测度，将配点网格视为需在训练过程中通过变分推理边缘化的随机变量。
• 采用一种基于物理的变分推理框架，通过条件化于随机域划分，学习物理参数与解场之间的联合映射。
• 引入一类新型核函数，用于建模表示解场的高斯随机场，从而实现不确定性感知的预测。
• 提出网格不变卷积网络（GICNet）架构，以实现在随机采样配点网格上的等变且鲁棒的特征学习。
• 利用与随机网格框架一致的概率观测模型，将来自任意非固定网格的噪声观测数据整合进来。
• 通过可微损失函数端到端训练该框架，该损失函数结合了物理信息残差与观测数据似然的变分下界。

实验结果

研究问题

• RQ1 在PDE的深度学习中随机化配点网格是否能提升不确定性量化能力，并增强对噪声或非规则采样数据的鲁棒性？
• RQ2 如何设计一种变分推理框架，使空间网格被视为随机变量，同时保持PDE解的物理一致性？
• RQ3 与标准深度学习模型相比，网格不变神经架构（GICNet）在参数化PDE学习中的泛化能力与计算效率能提升多少？
• RQ4 与现有物理信息模型（如DeepONets、PINNs和PDDLVM）相比，该方法在复杂PDE上的精度与不确定性校准表现如何？
• RQ5 该框架能否通过概率建模有效处理不适定的反向问题，从而捕捉参数的模糊性？

主要发现

• 所提方法在训练与推理速度方面相较于现有物理信息深度学习方法在参数化PDEs中具有显著计算优势。
• 该模型在非线性泊松问题、伯吉斯方程以及纳维-斯托克斯顶盖驱动流问题中，展现出更优的预测性能与不确定性量化能力。
• 将来自任意网格的噪声稀疏观测数据整合后，其预测结果比确定性基线更鲁棒，尤其在测量位置与固定网格不匹配时表现更优。
• 不确定性估计反映了模型置信度，有助于从业者评估预测的可靠性，这对黑箱深度学习应用至关重要。
• 该框架通过概率建模成功处理了不适定的反向问题，捕捉了参数模糊性，而这是确定性方法所不具备的能力。
• 实证结果表明，该方法在精度与不确定性校准方面与最先进模型（如PDDLVM、改进的DeepONets和傅里叶特征网络）具有可比性。