[论文解读] Nonlocality and Nonlinearity Implies Universality in Operator Learning

Samuel Lanthaler, Zongyi Li+1 more|arXiv (Cornell University)|Apr 26, 2023

Neural Networks and Applications被引用 20

一句话总结

本文提出非局部神经算子（NNO）类，证明在任意几何上对算子使用简单平均的非局部性即可实现通用近似，并且表明在固定数量模态下，Fourier 神经算子是通用的。

ABSTRACT

Neural operator architectures approximate operators between infinite-dimensional Banach spaces of functions. They are gaining increased attention in computational science and engineering, due to their potential both to accelerate traditional numerical methods and to enable data-driven discovery. As the field is in its infancy basic questions about minimal requirements for universal approximation remain open. It is clear that any general approximation of operators between spaces of functions must be both nonlocal and nonlinear. In this paper we describe how these two attributes may be combined in a simple way to deduce universal approximation. In so doing we unify the analysis of a wide range of neural operator architectures and open up consideration of new ones. A popular variant of neural operators is the Fourier neural operator (FNO). Previous analysis proving universal operator approximation theorems for FNOs resorts to use of an unbounded number of Fourier modes, relying on intuition from traditional analysis of spectral methods. The present work challenges this point of view: (i) the work reduces FNO to its core essence, resulting in a minimal architecture termed the ``averaging neural operator'' (ANO); and (ii) analysis of the ANO shows that even this minimal ANO architecture benefits from universal approximation. This result is obtained based on only a spatial average as its only nonlocal ingredient (corresponding to retaining only a \emph{single} Fourier mode in the special case of the FNO). The analysis paves the way for a more systematic exploration of nonlocality, both through the development of new operator learning architectures and the analysis of existing and new architectures. Numerical results are presented which give insight into complexity issues related to the roles of channel width (embedding dimension) and number of Fourier modes.

研究动机与目标

• 激励在无限维函数空间中进行算子学习，并解决现有体系结构中的几何限制。
• 引入非局部神经算子（NNO），并展示其包含诸如 Fourier 神经算子（FNO）等现有算子。
• 给出 NNO 在简单平均非局部性下的通用近似结果。
• 强调非局部性与非线性在实现跨几何的 universality 的作用。

提出的方法

• 给出带提升、多个隐藏层和投影的 NNO 架构定义，通过学习的组件实现非局部交互。
• 表明简单的平均非局部项足以实现通用性（ANO 为特例）。
• 给出 NNO 在 C^s 和 Sobolev 空间中的两个通用近似定理（定理 1.1 和 1.2）。
• 给出编码-解码视角，将通用算子简化为基于 ANO 的方案。
• 将 ANO 与通用神经算子、低秩核、Fourier、小波、拉普拉斯及相关算子联系起来，以扩展 universality。

实验结果

研究问题

• RQ1 非局部性与非线性相结合，是否能够在任意几何中的函数空间之间实现算子的通用近似？
• RQ2 为保证普适性需要的非局部性有多少（例如，平均是否足够）？
• RQ3 结果是否扩展到除周期域以外的一般域和 Sobolev 空间？
• RQ4 NNO 如何关联并统一现有的神经算子体系结构，如 FNO、DeepONet 和 NOMAD？

主要发现

• 两个通用近似定理表明 NNO 可以在紧致函数集上以任意精度逼近任意连续算子。
• 单层平均层即可实现通用性（ANO 是通用的）。
• 结果意味着对 FNO 在固定数量的 Fourier 模态下的通用近似（即使只有第零模也可以）。
• 该框架统一了广义的神经算子，包括通用积分核、低秩、Fourier、小波、拉普拉斯及相关结构。
• 通道宽度（特征数量）而非模态秩在实践中能驱动近似能力，与经验观察相符。
• 平均化方法为非局部性及其与非线性在算子学习中的作用提供了新见解。