[论文解读] Multipole Graph Neural Operator for Parametric Partial Differential Equations

Zongyi Li, Nikola Kovachki+5 more|arXiv (Cornell University)|Jun 16, 2020

Model Reduction and Neural Networks参考文献 47被引用 159

一句话总结

MGKN 引入受快速多极方法启发的多层图神经算子，以学习参数化偏微分方程的离散化不变解算子，具有线性时间复杂度。

ABSTRACT

One of the main challenges in using deep learning-based methods for simulating physical systems and solving partial differential equations (PDEs) is formulating physics-based data in the desired structure for neural networks. Graph neural networks (GNNs) have gained popularity in this area since graphs offer a natural way of modeling particle interactions and provide a clear way of discretizing the continuum models. However, the graphs constructed for approximating such tasks usually ignore long-range interactions due to unfavorable scaling of the computational complexity with respect to the number of nodes. The errors due to these approximations scale with the discretization of the system, thereby not allowing for generalization under mesh-refinement. Inspired by the classical multipole methods, we propose a novel multi-level graph neural network framework that captures interaction at all ranges with only linear complexity. Our multi-level formulation is equivalent to recursively adding inducing points to the kernel matrix, unifying GNNs with multi-resolution matrix factorization of the kernel. Experiments confirm our multi-graph network learns discretization-invariant solution operators to PDEs and can be evaluated in linear time.

研究动机与目标

• 促使基于数据、快速学习参数化PDE解算子，超越固定离散化。
• 通过引入一个多尺度、线性时间框架，克服标准 GNN 在长程相互作用方面的局限。
• 将图神经网络与多分辨率矩阵分解相统一，以实现离散化不变的算子学习。

提出的方法

• 将 PDE 解算子建模为核基图算子，通过核网络学习。
• 引入诱点以捕捉长程相互作用并提升到多层图。
• 使用受快速多极方法启发的层次结构将核分解为区间，并应用 V-cycle 来计算多分辨率分解。
• 使用 Nyström 近似实现线性或接近线性复杂度。
• 在 L 个图层级上训练用于层内和层间传输的多个核网络。
• 在 Darcy flow 和 Burgers 方程上演示离散化不变性和线性时间求解。

实验结果

研究问题

• RQ1 MGKN 能否学习参数化PDE的离散化不变（网格不变）的解算子？
• RQ2 多层、受多极启发的图架构是否能实现相对于节点数量的线性计算复杂度？
• RQ3 与基线相比，MGKN 在具有长程相关性的线性和非线性PDE上的表现如何？
• RQ4 层数 L 的数量对精度和效率有何影响？
• RQ5 Nyström 引入的近似在多分辨率下能在何种程度上保留算子精度？

主要发现

• MGKN 在节点数量上实现线性时间复杂度，优于二次复杂度的基线。
• 增加更多的图层级可降低 Darcy flow 的测试误差，提升精度且不会造成显著的时间成本增加。
• 在粗网格上训练的 MGKN 能泛化到更细的网格，证明离散化不变性（超分辨能力）。
• 在 Burgers 方程上，MGKN 的表现具有竞争力或优于基准，特别是在线性空间不足时。
• 正交核分解在所测试的 Darcy flow 场景中往往带来更好的表现。