[论文解读] Spectral Neural Operators

Vladimir Fanaskov, I. Oseledets|arXiv (Cornell University)|May 21, 2022

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出谱神经算子（Spectral Neural Operators, SNO），一种新颖的深度学习框架，通过将函数表示为切比雪夫多项式或傅里叶多项式的截断级数，用于求解偏微分方程和积分算子。通过将函数系数视为修改后的线性代数框架中的向量，SNO 能够利用标准神经网络层实现高效、低秩的积分算子，从而在包括伯吉斯方程、KdV 方程和参数化常微分方程在内的基准问题上实现最先进性能，相对 L2 误差最高降低至基线方法的 1/100。

ABSTRACT

A plentitude of applications in scientific computing requires the approximation of mappings between Banach spaces. Recently introduced Fourier Neural Operator (FNO) and Deep Operator Network (DeepONet) can provide this functionality. For both of these neural operators, the input function is sampled on a given grid (uniform for FNO), and the output function is parametrized by a neural network. We argue that this parametrization leads to 1) opaque output that is hard to analyze and 2) systematic bias caused by aliasing errors in the case of FNO. The alternative, advocated in this article, is to use Chebyshev and Fourier series for both domain and codomain. The resulting Spectral Neural Operator (SNO) has transparent output, never suffers from aliasing, and may include many exact (lossless) operations on functions. The functionality is based on well-developed fast, and stable algorithms from spectral methods. The implementation requires only standard numerical linear algebra. Our benchmarks show that for many operators, SNO is superior to FNO and DeepONet.

研究动机与目标

• 开发一种神经算子框架，通过谱基表示高效建模函数上的线性和非线性算子。
• 通过截断的切比雪夫和傅里叶级数及修改的向量空间形式，实现稳定且精确的函数逼近。
• 与 FNO 和 DeepONet 相比，在基准 PDE 和积分算子问题上展示出更优的泛化能力与更低的误差。
• 研究神经算子在捕捉高频动态方面的超分辨率能力。

提出的方法

• 函数以截断的切比雪夫或傅里叶多项式级数表示，其系数被堆叠为向量以供神经网络处理。
• 函数上的线性代数运算——加法、标量积和积分算子——被映射为向量运算，通过零填充和截断处理不同长度。
• 低秩积分算子通过在系数向量上进行矩阵乘法实现，从而高效学习算子映射。
• 该框架支持系数到系数和基于取值（网格）的映射，后者不依赖对偶性。
• 神经网络通过标准前馈架构训练，将输入函数的系数向量映射到输出函数的系数向量。
• 该方法在多样化的算子上进行了评估：积分、微分、非线性乘法、参数化常微分方程以及伯吉斯方程和 KdV 方程等 PDE。

实验结果

研究问题

• RQ1 使用修改的线性代数框架的谱基表示能否提升神经算子在 PDE 和积分算子上的准确性和效率？
• RQ2 在基准问题上，SNO 框架与 FNO 和 DeepONet 相比，在泛化能力和误差方面表现如何？
• RQ3 神经算子在多大程度上能实现超分辨率，即泛化到训练时未见的更高频输入？
• RQ4 在不同类型的问题中，基函数的选择（切比雪夫 vs. 傅里叶）是否显著影响性能？

主要发现

• SNO(Ch) 在 16 项基准中的 8 项上达到最低的相对 L2 误差，包括 k_max=10 时的 ∂ₓ 为 1.5×10⁻⁴，参数化 ODE 为 9.7×10⁻⁴。
• SNO(F) 在 16 项基准中的 7 项上优于 FNO 和 DeepONet，最低误差为积分算子的 2.6×10⁻⁴，以及 k_max=20 时的 ∂ₓ 为 2.6×10⁻⁴。
• 在 ν=0.01 的伯吉斯方程中，SNO(Ch) 的误差为 5.8×10⁻¹，而 FNO 为 6.3×10⁻²，表明 SNO 在非线性 PDE 上表现强劲。
• 在 ν=0.01 的 KdV 方程中，FNO 的误差最低（6.3×10⁻²），但 SNO(F) 达到 2.3×10⁻²，表现出具有竞争力的性能。
• 在超分辨率测试中，SNO 保持低误差（例如 Δk=25 时为 1.4×10⁻²），表明其能泛化到更高频段，尽管部分原因在于 ODE 中的高频动态较为平凡。
• 该框架在初始化方面表现出鲁棒性，并在多样化问题上展现出良好的泛化能力，代码已公开发布于 GitHub。