[论文解读] Neural Operator: Learning Maps Between Function Spaces

Nikola Kovachki, Zongyi Li+5 more|arXiv (Cornell University)|Aug 19, 2021

Model Reduction and Neural Networks参考文献 101被引用 79

一句话总结

本论文将神经网络推广到学习无限维函数空间之间的算子，证明离散化不变的通用近似，并提出四种用于学习偏微分方程解算子的实用神经算子架构。

ABSTRACT

The classical development of neural networks has primarily focused on learning mappings between finite dimensional Euclidean spaces or finite sets. We propose a generalization of neural networks to learn operators, termed neural operators, that map between infinite dimensional function spaces. We formulate the neural operator as a composition of linear integral operators and nonlinear activation functions. We prove a universal approximation theorem for our proposed neural operator, showing that it can approximate any given nonlinear continuous operator. The proposed neural operators are also discretization-invariant, i.e., they share the same model parameters among different discretization of the underlying function spaces. Furthermore, we introduce four classes of efficient parameterization, viz., graph neural operators, multi-pole graph neural operators, low-rank neural operators, and Fourier neural operators. An important application for neural operators is learning surrogate maps for the solution operators of partial differential equations (PDEs). We consider standard PDEs such as the Burgers, Darcy subsurface flow, and the Navier-Stokes equations, and show that the proposed neural operators have superior performance compared to existing machine learning based methodologies, while being several orders of magnitude faster than conventional PDE solvers.

研究动机与目标

• 推动在函数空间之间学习映射，而非有限维向量，以实现离散化不变。
• 提出神经算子框架作为线性算子与非线性激活的组合，并具备通用近似保证。
• 开发四种实用的神经算子架构（基于图的、低秩、基于多极的、以及傅里叶算子）。
• 并展示在如 Burgers、Darcy 流动和 Navier–Stokes 等 PDE 上的卓越性能与速度。

提出的方法

• 将神经算子定义为线性算子层和非线性激活的多层组合，确保整体映射是一个算子。
• 引入离散化不变性：具有固定参数的模型可接受任何输入离散化，并在离散化细化时收敛到连续算子。
• 给出四种算子层的实现：基于图的（Nyström 扩展）、低秩、基于多极的图算子，以及傅里叶算子。
• 使用积分核算子实现非局部相互作用，并为层更新提出核形式（方程式 7、8、9）。
• 提供一种预处理策略，将问题几何信息或导数信息注入以辅助学习。
• 展示通用近似性：神经算子能够在紧集上近似 Banach 空间之间的任意连续算子（第9节）。
• 通过跨离散化和网格的实证测试，展示离散化不变性和算子普适性。

实验结果

研究问题

• RQ1 神经算子是否能近似无限维函数空间之间的非线性映射？
• RQ2 在固定参数数量下，是否存在离散化不变的神经架构，并收敛到连续算子？
• RQ3 基于图的、低秩、基于多极的和傅里叶算子形式在学习PDE解算子方面的比较如何？
• RQ4 神经算子是否能在 varying discretizations 下高效代理 Burgers、Darcy 流动和 Navier–Stokes 等 PDE 的解算子？

主要发现

• 神经算子具备离散化不变性，且在 Banach 空间的紧集上对连续算子具有通用近似性。
• 四种实用的算子实现（基于图的、低秩、基于多极的图、傅里叶）在PDE代理任务上优于标准机器学习方法。
• 在二维 Navier–Stokes 中，学习完整的流动映射在 Re = 20 时误差小于 1%，在 Re = 200 时约为 8%。
• 傅里叶神经算子（FNO）在 256×256 网格上的推理时间约为 0.005 s，比用于数据生成的伪谱解算器（2.2 s）快三个数量级。
• 该方法对噪声具有鲁棒性，在下游任务如贝叶斯反问题中也不会退化。