[论文解读] Representation Equivalent Neural Operators: a Framework for Alias-free Operator Learning

Francesca Bartolucci, Emmanuel de Bézenac+4 more|arXiv (Cornell University)|May 31, 2023

Model Reduction and Neural Networks被引用 14

一句话总结

论文介绍 Representation equivalent Neural Operators (ReNOs)，一个框架，确保在学习算子时无混叠、连续-离散等价性，并分析现有体系结构中的混叠；并给出当离散化保留底层连续算子时的理论与经验演示。

ABSTRACT

Recently, operator learning, or learning mappings between infinite-dimensional function spaces, has garnered significant attention, notably in relation to learning partial differential equations from data. Conceptually clear when outlined on paper, neural operators necessitate discretization in the transition to computer implementations. This step can compromise their integrity, often causing them to deviate from the underlying operators. This research offers a fresh take on neural operators with a framework Representation equivalent Neural Operators (ReNO) designed to address these issues. At its core is the concept of operator aliasing, which measures inconsistency between neural operators and their discrete representations. We explore this for widely-used operator learning techniques. Our findings detail how aliasing introduces errors when handling different discretizations and grids and loss of crucial continuous structures. More generally, this framework not only sheds light on existing challenges but, given its constructive and broad nature, also potentially offers tools for developing new neural operators.

研究动机与目标

• 明确离散化如何在连续算子及其离散神经表示之间引起混叠。
• 定义 Representation equivalent Neural Operators (ReNOs) 并确立零混叠作为算子学习的标准。
• 提供一个正式框架，将连续算子与在不同离散化下的离散表示联系起来。
• 评估哪些现有的算子学习体系结构满足 ReNO 标准。
• 通过合成实验演示离散化对算子学习的影响，以及如何在不同离散化下分析表示等价性。

提出的方法

• 基于框架理论开发一个统一的数学形式化，将连续函数空间及其离散表示联系起来。
• 为在希尔伯特空间之间的算子定义算子混叠和连续-离散等价性（CDE）。
• 将 ReNO 定义为在所有可取的输入/输出帧对上具有零混叠误差的算子。
• 描述离散化选择（帧）如何影响离散算子表示及其等价性。
• 分析具体体系结构（CNN、FNO、CNO）以确定在该框架下它们是否为 ReNO。
• 提供合成实验以说明跨网格和帧的混叠与表示等价性。

实验结果

研究问题

• RQ1 离散化对神经算子学习的影响是什么，如何量化算子的混叠？
• RQ2 在何种条件下一个神经算子可以跨不同离散化被认为是 Representation equivalent (ReNO)？
• RQ3 哪些现有架构满足 ReNO 标准，它们的离散化如何影响混叠误差？
• RQ4 表示等价性与保持连续结构（如对称性或守恒定律）之间有何关系？
• RQ5 我们能否通过合成实验展示在不同分辨率下操作时混叠的实际影响？

主要发现

• 如果离散化违反连续-离散等价性，混叠误差会通过神经算子层级向后传播。
• 在定义的帧条件下，Convolutional Neural Operators (CNO) 被证明是 ReNO，而 CNNs 与 Fourier Neural Operators (FNO) 可能因离散化而不具备表示等价性。
• 零混叠条件（ReNO）意味着连续表示与离散表示在帧对之间的对换图是可交换的。
• 存在一个表示等价性误差度量，可用于比较离散化并评估 u 与 u′ 之间的等价性。
• 经验结果表明 CNNs 和 FNOs 在分辨率之间表现出非等价性，而 CNOs 在定义的区域内表现出等价性，区域外存在混叠。
• 该框架把混叠与保持底层连续结构联系起来，表明与算子连续属性对齐的离散化可以保持对称性和守恒定律。