[论文解读] Operator Learning: Algorithms and Analysis

Nikola Kovachki, Samuel Lanthaler+1 more|arXiv (Cornell University)|Feb 24, 2024

Neural Networks and Applications被引用 7

一句话总结

对神经算子结构（PCA-Net、DeepONet、Fourier Neural Operator、Random Features）及其逼近理论、训练/测试框架和学习函数空间映射的复杂性进行全面综述。它讨论潜在结构、函数空间训练以及受偏微分方程启发的应用。

ABSTRACT

Operator learning refers to the application of ideas from machine learning to approximate (typically nonlinear) operators mapping between Banach spaces of functions. Such operators often arise from physical models expressed in terms of partial differential equations (PDEs). In this context, such approximate operators hold great potential as efficient surrogate models to complement traditional numerical methods in many-query tasks. Being data-driven, they also enable model discovery when a mathematical description in terms of a PDE is not available. This review focuses primarily on neural operators, built on the success of deep neural networks in the approximation of functions defined on finite dimensional Euclidean spaces. Empirically, neural operators have shown success in a variety of applications, but our theoretical understanding remains incomplete. This review article summarizes recent progress and the current state of our theoretical understanding of neural operators, focusing on an approximation theoretic point of view.

研究动机与目标

• 将算子学习动机化为在函数的 Banach 空间之间的监督学习，并解释为什么函数空间视角有助于跨离散化的迁移性。
• 总结关键的神经算子体系结构及其训练流程。
• 讨论神经算子的普遍近似结果和复杂度分析。
• 结合受偏微分方程启发的示例，特别是多孔介质流动，以使理论与结构得到 grounding。

提出的方法

• 描述编码器–解码器和潜在结构方法（PCA-Net、DeepONet），将输入映射到有限维潜在空间，然后重建输出。
• 提出直接在函数空间上工作的Fourier Neural Operator（FNO），使用卷积积分算子和傅里叶乘子。
• 引入随机特征法（RFM），作为一种凸优化、数据高效的替代方案，固定随机特征并训练线性权重。
• 在经验风险最小化和总体风险方面概述训练/测试过程，包括潜在空间编码和解码器。

(a) Same images at different resolutions

实验结果

研究问题

• RQ1 哪些体系结构和训练过程能够在函数空间之间实现有效的算子学习？
• RQ2 编码-解码网络、FNO和随机特征在逼近能力和计算特性方面的比较如何？
• RQ3 在将 Banach 空间映射的神经算子中，存在哪些普遍近似结果和复杂度界限？
• RQ4 如何利用潜在结构来降低算子学习的复杂性？

主要发现

• 神经算子可以逼近函数空间之间的广义算子，普适近似理论扩展到算子学习结构。
• 编码器-解码结构（PCA-Net、DeepONet）将输入映射到有限维潜在空间并重建输出，类似经典数值方法。
• Fourier Neural Operator（FNO）通过具有可调傅里叶乘子的非局部卷积算子将神经网络概念推广到函数空间，从而实现高效训练与外推。
• 随机特征提供了一条通过固定随机特征、学习线性系数的凸优化路径，便于分析误差与收敛性。
• 综述强调在近似理论、样本复杂度和鲁棒性（包括分布外情形）方面的理论进展，并讨论线性算子学习与 Greens 函数方法。

(b) Different resolutions as vectors and (bottom right) as a function