[论文解读] Neural Operator: Graph Kernel Network for Partial Differential Equations

Zongyi Li, Nikola Kovachki+5 more|arXiv (Cornell University)|Mar 7, 2020

Model Reduction and Neural Networks参考文献 35被引用 154

一句话总结

引入 Neural Operator，一种网格不变的网络，使用 graph kernel networks 和 Nyström 近似在无限维函数空间之间学习映射，以跨越不同离散化求解 PDEs。

ABSTRACT

The classical development of neural networks has been primarily for mappings between a finite-dimensional Euclidean space and a set of classes, or between two finite-dimensional Euclidean spaces. The purpose of this work is to generalize neural networks so that they can learn mappings between infinite-dimensional spaces (operators). The key innovation in our work is that a single set of network parameters, within a carefully designed network architecture, may be used to describe mappings between infinite-dimensional spaces and between different finite-dimensional approximations of those spaces. We formulate approximation of the infinite-dimensional mapping by composing nonlinear activation functions and a class of integral operators. The kernel integration is computed by message passing on graph networks. This approach has substantial practical consequences which we will illustrate in the context of mappings between input data to partial differential equations (PDEs) and their solutions. In this context, such learned networks can generalize among different approximation methods for the PDE (such as finite difference or finite element methods) and among approximations corresponding to different underlying levels of resolution and discretization. Experiments confirm that the proposed graph kernel network does have the desired properties and show competitive performance compared to the state of the art solvers.

研究动机与目标

• 激发在无限维函数空间之间学习映射的动机，而不是在有限维空间中学习。
• 开发一个离散化不变、可在网格分辨率之间迁移的神经算子框架。
• 提出一个基于图神经网络的核，通过 Nyström 型核积分来近似 PDE 解算子。
• 证明一组网络参数就能在不同离散化和网格上实现泛化。

提出的方法

• 将 Neural Operator 定义为 Banach 空间之间的算子值映射，并用 graph kernel network 对其进行近似。
• 使用基于核的消息传递方案来近似 PDE 解表示中的积分算子作用。
• 通过神经网络 φ 对核进行参数化，将边特征映射到 n×n 矩阵，使跨离散化的共享参数集成为可能。
• 通过 Nyström 延拓和蒙特卡洛子采样将连续核连接到离散图，从而实现可扩展、网格无关的计算。
• 在 t=0,...,T 上对隐藏状态 v_t 使用一个激活 σ 迭代，并通过最终投影层恢复解 u。

实验结果

研究问题

• RQ1 神经网络是否可以学习在无限维函数空间之间的映射（算子），并且对离散化不变？
• RQ2 在一个离散化上训练的基于图的核网络，是否能泛化到用于 PDE 解算子的不同网格分辨率和网格？
• RQ3 Nyström 型核近似在实现可扩展、网格无关的 PDE 算子学习方面有多有效？
• RQ4 Graph kernel network 在 Poisson 型 PDE 中学习类似 Green 函数的核时的数据效率如何？
• RQ5 半监督学习能否实现少量点数据的准确算子学习并泛化到整个定义域？

主要发现

• Graph kernel network 在不同离散化和网格分辨率上具有泛化能力。
• 通过 Nyström 基于子采样，方法在保持精度的同时实现可扩展的 O(l m^2) 计算。
• 对于二维 Poisson 方程，graph kernel network 相较于密集网络需要更少的训练样本即可达到有竞争力的误差。
• 该方法可以执行半监督学习，实现从有限点数据到整个域的泛化。
• 在一个分辨率上进行训练即可对其他分辨率有合理的泛化，对角线结果通常表现最佳。
• 增加 Nyström 采样轮次（l）会降低误差，揭示采样与训练数据之间的权衡。