[论文解读] Solving and Learning Nonlinear PDEs with Gaussian Processes

Yifan Chen, Bamdad Hosseini+2 more|arXiv (Cornell University)|Mar 24, 2021

Gaussian Processes and Bayesian Inference参考文献 82被引用 21

一句话总结

该论文提出了一种新颖的高斯过程框架，用于求解非线性偏微分方程（PDEs）和反问题，通过在高斯过程先验下将解表述为最大后验估计（MAP）估计器，并利用配点法施加约束。该方法通过引入导数变量的有限维降维，实现了可证明的收敛性和高效的计算，从而能够鲁棒地、无网格地求解各类PDE，且保证误差界和低迭代次数（2–10次）。

ABSTRACT

We introduce a simple, rigorous, and unified framework for solving nonlinear partial differential equations (PDEs), and for solving inverse problems (IPs) involving the identification of parameters in PDEs, using the framework of Gaussian processes. The proposed approach: (1) provides a natural generalization of collocation kernel methods to nonlinear PDEs and IPs; (2) has guaranteed convergence for a very general class of PDEs, and comes equipped with a path to compute error bounds for specific PDE approximations; (3) inherits the state-of-the-art computational complexity of linear solvers for dense kernel matrices. The main idea of our method is to approximate the solution of a given PDE as the maximum a posteriori (MAP) estimator of a Gaussian process conditioned on solving the PDE at a finite number of collocation points. Although this optimization problem is infinite-dimensional, it can be reduced to a finite-dimensional one by introducing additional variables corresponding to the values of the derivatives of the solution at collocation points; this generalizes the representer theorem arising in Gaussian process regression. The reduced optimization problem has the form of a quadratic objective function subject to nonlinear constraints; it is solved with a variant of the Gauss--Newton method. The resulting algorithm (a) can be interpreted as solving successive linearizations of the nonlinear PDE, and (b) in practice is found to converge in a small number of iterations (2 to 10), for a wide range of PDEs. Most traditional approaches to IPs interleave parameter updates with numerical solution of the PDE; our algorithm solves for both parameter and PDE solution simultaneously. Experiments on nonlinear elliptic PDEs, Burgers' equation, a regularized Eikonal equation, and an IP for permeability identification in Darcy flow illustrate the efficacy and scope of our framework.

研究动机与目标

• 开发一种统一的、理论基础坚实的框架，用于使用高斯过程求解非线性PDE和反问题。
• 将核配点法推广至非线性PDE，同时保持收敛性保证和计算效率。
• 在单一优化框架内实现PDE的同步求解与反问题中未知参数的识别。
• 为使用所提出的基于高斯过程的方法计算PDE近似解的严格误差界提供路径。
• 在保持非线性问题的最先进复杂度的同时，利用密集核矩阵求解器的计算效率。

提出的方法

• 将非线性PDE的解表述为在有限个配点处满足PDE条件的高斯过程的最大后验估计（MAP）估计器。
• 通过在配点处引入解和导数值的变量，将无限维优化问题降为有限维问题，推广了表示定理。
• 构建一个带有非线性约束的二次目标函数，这些约束来自PDE和边界条件，通过一种高斯-牛顿变体求解。
• 将该算法解释为求解非线性PDE的连续线性化问题，确保在各类问题中仅需2–10次迭代即可实现快速收敛。
• 利用所得的高斯过程近似，通过对偶空间和嵌入不等式计算误差界，利用解的正则性和配点的填充距离。
• 实现核学习（例如通过MLE、MAP或交叉验证），以使核函数适应解空间，从而提升对不规则或非线性PDE的求解精度。

实验结果

研究问题

• RQ1 能否严格地将高斯过程框架扩展至求解具有可证明收敛性和误差控制的非线性PDE？
• RQ2 如何在概率框架内同时优化非线性PDE的求解与反问题中未知参数的识别？
• RQ3 使用基于高斯过程的配点法求解非线性PDE的计算复杂度是多少？其是否能与密集核矩阵求解器的复杂度相当？
• RQ4 核函数的选择和解的正则性如何影响基于高斯过程的PDE求解器的精度和收敛性？
• RQ5 该框架能否推广至非高斯先验，同时保持计算效率和理论保证？

主要发现

• 所提出的方法对一类非常广泛的非线性PDE实现了收敛性，收敛速率受配点填充距离和解的Sobolev正则性约束。
• 该算法在包括非线性椭圆方程、Burgers方程和正则化Eikonal方程在内的多种PDE中，仅需2至10次迭代即可收敛。
• 通过使用对偶空间和嵌入不等式推导出误差界，表明近似误差以 $ O(h^s) $ 的速率衰减，其中 $ h $ 为填充距离，$ s $ 与解的Sobolev范数相关。
• 该方法继承了最先进的密集核矩阵求解器的计算复杂度，从而能够高效求解大规模问题。
• 通过MLE、MAP或交叉验证实现的核学习是可行的，并能提升精度，尤其在不规则解或非线性PDE中表现更优。
• 通过高斯过程的非线性变换，该框架可自然推广至非高斯先验，从而为具有复杂先验的贝叶斯反问题提供新方法。