[论文解读] Operator Learning with Neural Fields: Tackling PDEs on General Geometries

Louis Serrano, Lise Le Boudec+5 more|arXiv (Cornell University)|Jun 12, 2023

Model Reduction and Neural Networks参考文献 51被引用 15

一句话总结

CORAL 引入基于坐标的神经场算子，在通用几何上的函数之间映射，使在不规则网格上求解偏微分方程成为可能，并在初值问题、动力学和几何感知推断任务上展示出强大适用性。

ABSTRACT

Machine learning approaches for solving partial differential equations require learning mappings between function spaces. While convolutional or graph neural networks are constrained to discretized functions, neural operators present a promising milestone toward mapping functions directly. Despite impressive results they still face challenges with respect to the domain geometry and typically rely on some form of discretization. In order to alleviate such limitations, we present CORAL, a new method that leverages coordinate-based networks for solving PDEs on general geometries. CORAL is designed to remove constraints on the input mesh, making it applicable to any spatial sampling and geometry. Its ability extends to diverse problem domains, including PDE solving, spatio-temporal forecasting, and inverse problems like geometric design. CORAL demonstrates robust performance across multiple resolutions and performs well in both convex and non-convex domains, surpassing or performing on par with state-of-the-art models.

研究动机与目标

• 激励在无限维函数空间之间学习映射，以在通用几何上求解 PDE。
• 开发一个灵活的算子学习框架，避免网格约束并支持不规则采样。
• 在多种与物理相关的任务（初值问题、动力学预测、几何感知推断）中展示 CORAL。
• 展示使用基于坐标的表示在面对未看见的网格和几何体时的鲁棒性。

提出的方法

• 使用两个调制的隐式神经表示（INR）来编码输入和输出函数，共享基础参数并对每个函数进行调制。
• 通过空间编码器将输入编码成低维潜在代码，并通过带调制的 INR 进行自编码解码。
• 用一个可能更灵活的处理器（如简单的 MLP 或 Neural ODE 求解器）处理潜在代码，将输入潜在映射到输出潜在。
• 使用调制的 INR 将输出潜在解码为一个空间函数，以在任意查询位置获得预测。
• 采用两步训练流程：先拟合 INRs 以重构输入/输出，然后训练潜在空间处理器。
• 采用基于 SIREN 的 INR 及平移调制以平衡表达力与效率。

实验结果

研究问题

• RQ1 CORAL 是否能够在不依赖网格约束的情况下，在不规则或未见过的网格上对函数之间进行映射？
• RQ2 CORAL 在多样化任务中的表现如何：初值问题、动力学预测、和几何感知推断？
• RQ3 与现有算子或基于网格的模型相比，CORAL 对空间采样和几何变化是否具有鲁棒性？
• RQ4 带潜在编码的两步训练是否能够实现对复杂算子的快速且有效学习？
• RQ5 在凸域和非凸域，以及在平面几何与球面几何上的表现，CORAL 与最先进的基线相比如何？

主要发现

• CORAL 在初值问题、动力学预测和几何感知推断任务中实现了具有竞争力甚至处于领先地位的性能。
• 该模型对训练中未见过的新网格具有良好的泛化能力，包括高度不规则采样和非凸域。
• CORAL 在空间稀疏性和网格粒度变化下，仍保持强劲性能，常常优于其他基于网格或固定网格的算子。
• 由于紧凑的潜在表示，使得对空间函数的解码高效，因此推断速度很快。
• 与若干基线相比，CORAL 在网格变化和不规则采样方面表现出鲁棒性，而某些方法会过拟合于训练网格。