[论文解读] Sparse Cholesky Factorization for Solving Nonlinear PDEs via Gaussian Processes

Yifan Chen, Houman Owhadi+1 more|arXiv (Cornell University)|Apr 3, 2023

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

该论文提出了一种用于高斯过程（GP）求解非线性偏微分方程（PDE）的稀疏Cholesky分解算法，通过一种新颖的Dirac测量及其导数的排序方式，在逆核矩阵中诱导出近似稀疏性。该方法实现了$O(N/log^{d}(N/\rho))$的空间复杂度和$O(N/log^{2d}(N/\rho))$的时间复杂度，使得通过预处理共轭梯度法实现可扩展、高精度求解椭圆型、Burgers’和Monge-Ampère方程等非线性PDE成为可能。

ABSTRACT

In recent years, there has been widespread adoption of machine learning-based approaches to automate the solving of partial differential equations (PDEs). Among these approaches, Gaussian processes (GPs) and kernel methods have garnered considerable interest due to their flexibility, robust theoretical guarantees, and close ties to traditional methods. They can transform the solving of general nonlinear PDEs into solving quadratic optimization problems with nonlinear, PDE-induced constraints. However, the complexity bottleneck lies in computing with dense kernel matrices obtained from pointwise evaluations of the covariance kernel, and its extit{partial derivatives}, a result of the PDE constraint and for which fast algorithms are scarce. The primary goal of this paper is to provide a near-linear complexity algorithm for working with such kernel matrices. We present a sparse Cholesky factorization algorithm for these matrices based on the near-sparsity of the Cholesky factor under a novel ordering of pointwise and derivative measurements. The near-sparsity is rigorously justified by directly connecting the factor to GP regression and exponential decay of basis functions in numerical homogenization. We then employ the Vecchia approximation of GPs, which is optimal in the Kullback-Leibler divergence, to compute the approximate factor. This enables us to compute $ε$-approximate inverse Cholesky factors of the kernel matrices with complexity $O(N\log^d(N/ε))$ in space and $O(N\log^{2d}(N/ε))$ in time. We integrate sparse Cholesky factorizations into optimization algorithms to obtain fast solvers of the nonlinear PDE. We numerically illustrate our algorithm's near-linear space/time complexity for a broad class of nonlinear PDEs such as the nonlinear elliptic, Burgers, and Monge-Ampère equations.

研究动机与目标

• 解决GP基PDE求解器中稠密核矩阵带来的计算瓶颈，其复杂度在$N$个配点时为$O(N^3)$。
• 为使用高斯过程求解一般非线性PDE开发一种可扩展、高精度且高效的算法。
• 严格分析在新测量排序下，逆核矩阵Cholesky分解的稀疏性与近似精度。
• 将该框架扩展至非线性PDE的高斯-牛顿方法，其中缩减的核矩阵缺乏足够的Dirac测量。
• 在包括Monge-Ampère方程在内的多种非线性PDE上，展示近线性复杂度与高精度，包括完全非线性方程。

提出的方法

• 提出一种新颖的Dirac与导数测量排序方式，以在逆核矩阵的Cholesky分解中诱导出近似稀疏性。
• 对GP应用Vecchia近似，该方法在Kullback-Leibler散度下被证明是最优的，用于计算逆Cholesky因子的稀疏近似。
• 使用KL最小化计算稀疏Cholesky因子，并通过严格的误差界证明其在Frobenius范数下具有指数收敛性。
• 在高斯-牛顿迭代中使用缩减核矩阵时，将相同的稀疏因子作为预条件子应用于共轭梯度（pCG）求解器。
• 利用自动微分处理Monge-Ampère等复杂PDE中的核导数，确保灵活性与精度。
• 将稀疏分解与序列二次规划及高斯-牛顿方法结合，实现可扩展、高精度的PDE求解。

实验结果

研究问题

• RQ1 能否通过一种新颖的测量排序方式，在GP基PDE求解器的逆核矩阵Cholesky因子中诱导出近似稀疏性？
• RQ2 基于该排序的Vecchia近似的理论精度如何？其与Kullback-Leibler散度的关系是什么？
• RQ3 该稀疏Cholesky分解能否在一般非线性PDE上实现$O(N\log^{d}(N/\epsilon))$的空间与时间复杂度？
• RQ4 当应用于高斯-牛顿迭代中稀疏性衰减较弱的缩减核矩阵时，该方法表现如何？
• RQ5 该算法是否在包括Monge-Ampère方程在内的多种非线性PDE上保持近线性复杂度与高精度？

主要发现

• 所提出的稀疏Cholesky分解实现了$O(N\log^{d}(N/\epsilon))$的空间复杂度和$O(N\log^{2d}(N/\epsilon))$的时间复杂度，且在Frobenius范数下具有$\epsilon$-精度。
• 基于新排序的Vecchia近似在Kullback-Leibler散度下是最优的，并表现出指数收敛的精度。
• 在Burgers’方程中，当$N=2000$时，$L^2$误差为$6.111 \times 10^{-5}$；当$N=4000$时，$L^2$误差为$7.453 \times 10^{-5}$，表明在固定参数下具有高精度。
• 在Monge-Ampère方程示例中，随着$N_{\text{domain}}$的增加，$L^2$误差减小，证实了即使在复杂的导数结构下仍具有收敛性。
• 高斯-牛顿方法在$O(1)$步内收敛，且使用稀疏因子作为预条件子的pCG求解器几乎保持恒定迭代次数，从而实现近似线性整体复杂度。
• 该算法在所有测试的PDE上均表现出近似线性计算时间缩放，包括需要对核导数进行自动微分的PDE。