[论文解读] Physics-Informed Deep Neural Operator Networks

Somdatta Goswami, Aniruddha Bora+2 more|arXiv (Cornell University)|Jul 8, 2022

Model Reduction and Neural Networks被引用 13

一句话总结

本文提出物理信息神经算子网络，将神经算子（如DeepONet、傅里叶神经算子FNO和图神经算子）与物理定律相结合，实现对偏微分方程的快速、可泛化且精确的代理建模。通过在训练过程中将控制方程嵌入损失函数，这些模型可在无需微调的情况下实现实时推理，适用于多种边界条件和初始条件，突破维度灾难，实现在流体动力学、固体力学和气候建模等领域的数量级速度提升。

ABSTRACT

Standard neural networks can approximate general nonlinear operators, represented either explicitly by a combination of mathematical operators, e.g., in an advection-diffusion-reaction partial differential equation, or simply as a black box, e.g., a system-of-systems. The first neural operator was the Deep Operator Network (DeepONet), proposed in 2019 based on rigorous approximation theory. Since then, a few other less general operators have been published, e.g., based on graph neural networks or Fourier transforms. For black box systems, training of neural operators is data-driven only but if the governing equations are known they can be incorporated into the loss function during training to develop physics-informed neural operators. Neural operators can be used as surrogates in design problems, uncertainty quantification, autonomous systems, and almost in any application requiring real-time inference. Moreover, independently pre-trained DeepONets can be used as components of a complex multi-physics system by coupling them together with relatively light training. Here, we present a review of DeepONet, the Fourier neural operator, and the graph neural operator, as well as appropriate extensions with feature expansions, and highlight their usefulness in diverse applications in computational mechanics, including porous media, fluid mechanics, and solid mechanics.

研究动机与目标

• 开发可在多种输入条件下泛化的神经算子架构，并实现实时推理，以模拟物理系统。
• 将已知的物理定律整合到神经算子训练中，以提升泛化能力并减少对数据的依赖。
• 通过实现无需为新条件重新训练即可快速推理，克服传统降模态模型和PINNs的局限性。
• 将神经算子扩展至大规模、高维问题，如风力发电场模拟和气候建模。
• 通过算子级持续学习，推动复杂系统-系统中数字孪生和因果推断的发展。

提出的方法

• 采用DeepONet，一种双分支神经网络架构，通过独立的分支网络和主干网络来近似将输入函数映射到输出函数的非线性算子。
• 采用傅里叶神经算子（FNO），通过在傅里叶空间中参数化积分核，实现在结构化网格上的高效算子学习。
• 引入图神经算子，以建模具有不规则几何形状和复杂拓扑结构的系统，扩展神经算子的适用范围。
• 通过将控制PDE嵌入训练目标，引入物理信息损失，降低对标注数据的依赖。
• 应用特征扩展和多保真度数据融合，以增强高维问题的泛化能力并降低训练成本。
• 在算子层面实现迁移学习和持续学习，以最小微调适应分布外条件。

实验结果

研究问题

• RQ1 物理信息神经算子是否可在无需重新训练的情况下，泛化到多种边界和初始条件？
• RQ2 物理信息损失在神经算子训练中如何提升泛化能力并减少数据需求？
• RQ3 神经算子能否在高维参数化PDE中突破维度灾难？
• RQ4 神经算子如何扩展至风力发电场功率预测等实际工业问题？
• RQ5 神经算子能否通过持续学习和因果建模支持数字孪生的构建？

主要发现

• 物理信息神经算子可在无需重新训练的情况下实现实时推理，与传统求解器相比速度提升达数千倍。
• DeepONet和FNO展现出算子的通用逼近能力，可在极少微调下泛化至训练分布之外。
• 将物理定律整合到损失函数中显著提升了泛化能力并减少了数据依赖，尤其在低数据场景下表现突出。
• 在未预期或分布外条件下，神经算子在泛化能力上优于传统降模态模型。
• 多保真度训练方法可高效学习高保真度问题（如64台风力涡轮机风力发电场模拟），在保持精度的同时显著降低计算成本。
• 神经算子可支持构建复杂系统（如气候模型和人体器官）的数字孪生，具备因果发现和实时推理的潜力。