[论文解读] Partial Differential Equations Meet Deep Neural Networks: A Survey

Shudong Huang, Wentao Feng+2 more|arXiv (Cornell University)|Oct 27, 2022

Model Reduction and Neural Networks被引用 15

一句话总结

本综述全面回顾了深度神经网络（DNNs）与偏微分方程（PDEs）的融合，将方法分类为物理信息神经网络（PINNs）和深度算子网络（DeepONet）等，这些方法在神经网络训练中嵌入PDE约束。它展示了这些混合模型如何实现复杂PDE的精确、可微分解，同时保持物理一致性，从而在科学计算和科学人工智能领域取得突破。

ABSTRACT

Many problems in science and engineering can be represented by a set of partial differential equations (PDEs) through mathematical modeling. Mechanism-based computation following PDEs has long been an essential paradigm for studying topics such as computational fluid dynamics, multiphysics simulation, molecular dynamics, or even dynamical systems. It is a vibrant multi-disciplinary field of increasing importance and with extraordinary potential. At the same time, solving PDEs efficiently has been a long-standing challenge. Generally, except for a few differential equations for which analytical solutions are directly available, many more equations must rely on numerical approaches such as the finite difference method, finite element method, finite volume method, and boundary element method to be solved approximately. These numerical methods usually divide a continuous problem domain into discrete points and then concentrate on solving the system at each of those points. Though the effectiveness of these traditional numerical methods, the vast number of iterative operations accompanying each step forward significantly reduces the efficiency. Recently, another equally important paradigm, data-based computation represented by deep learning, has emerged as an effective means of solving PDEs. Surprisingly, a comprehensive review for this interesting subfield is still lacking. This survey aims to categorize and review the current progress on Deep Neural Networks (DNNs) for PDEs. We discuss the literature published in this subfield over the past decades and present them in a common taxonomy, followed by an overview and classification of applications of these related methods in scientific research and engineering scenarios. The origin, developing history, character, sort, as well as the future trends in each potential direction of this subfield are also introduced.

研究动机与目标

• 系统性地分类并回顾过去数十年来求解PDE的深度学习方法的发展历程。
• 分析通过PDE形式的物理定律与数据驱动的深度学习模型相结合，以提高解的精度和可解释性。
• 对基于DNN的PDE求解器在科学研究、工程和医学领域的应用进行分类。
• 识别关键挑战，如高保真模拟中的精度限制以及对高效、可泛化模型的需求。
• 概述未来研究方向，包括面向工程应用的专用模型开发，以及先验知识与神经架构的融合。

提出的方法

• 将PDE求解方法分类为物理信息神经网络（PINNs），其在训练过程中将PDE残差嵌入损失函数。
• 引入深度算子网络（DeepONet），其学习将输入函数映射到输出解的完整解算子，实现对不同PDE的泛化能力。
• 调研混合方法，如FNO（傅里叶神经算子）和X-TFC（极端函数连通理论），以提升近似精度并增强对离散化的不变性。
• 分析预训练模型和迁移学习的使用，以降低训练成本，并在特定领域应用中提升性能。
• 评估先验知识（如PDE结构和边界条件）在约束神经网络架构中的作用，以增强物理一致性。
• 回顾近期框架如DeepXDE和NVIDIA的Modulus，这些框架将PINNs、DeepONet和FNO整合为适用于数字孪生和科学模拟的生产级工具。

实验结果

研究问题

• RQ1 如何有效利用PDE约束深度神经网络，以确保解的物理一致性？
• RQ2 哪些关键的架构和训练创新使DNN能够比传统数值方法更高效地求解高维或复杂PDE？
• RQ3 混合模型如PINNs和DeepONet在多大程度上弥合了基于机理的建模与数据驱动学习之间的差距？
• RQ4 近期进展如离散化不变算子（例如FNO）如何提升在不同问题设置下的泛化能力？
• RQ5 基于DNN的PDE求解器最具前景的应用领域是什么？在实际工程和科学部署中仍存在哪些局限性？

主要发现

• PINNs和DeepONet已成为通过直接将物理定律嵌入损失函数或算子学习过程来求解PDE的主流范式。
• 将PDE约束整合到DNN中可实现在缺乏大量标注数据情况下的解，使其适用于数据稀缺的科学问题。
• 近期框架如FNO和X-TFC展示了离散化不变学习，显著提升了在不同网格分辨率下的泛化能力和鲁棒性。
• 混合模型如FEM-NN和高斯过程增强网络在结合数值稳定性与深度学习灵活性方面展现出巨大潜力。
• 工业应用正在加速推进，NVIDIA的Modulus框架集成了PINNs、DeepONet和FNO，用于数字孪生应用。
• 尽管已取得进展，高保真科学模拟中的精度仍落后于传统方法，凸显了在工程场景中针对性改进的迫切需求。