[论文解读] Physics-Informed Neural Networks and Extensions

Maziar Raissi, Paris Perdikaris+2 more|arXiv (Cornell University)|Aug 29, 2024

Neural Networks and Applications被引用 7

一句话总结

本论文综述物理信息神经网络（PINNs），调查其扩展（自适应权重、域分解、长时间积分等），并展示数据驱动的控制方程发现，包括对糖解振荡器的符号回归示例。

ABSTRACT

In this paper, we review the new method Physics-Informed Neural Networks (PINNs) that has become the main pillar in scientific machine learning, we present recent practical extensions, and provide a specific example in data-driven discovery of governing differential equations.

研究动机与目标

• 将PINNs作为将数据与已知物理规律结合、求解正向/反向PDE问题并揭示缺失物理量的框架。
• 总结可提升训练、可扩展性以及对多尺度和随机问题适用性的扩展。
• 展示使用受PINN启发的方法进行动态系统及控制方程的数据驱动发现。
• 就PINNs的理论基础与实际局限性展开讨论，并对未来研究作展望。

提出的方法

• 描述PINNs如何通过基于PDE残差推导的物理信息损失项对神经网络进行正则化。
• 介绍自适应损失加权技术，包括基于NTK的校准和完全可训练的逐点权重。
• 讨论域分解方法（CPINN、XPINN）和用于多尺度问题的hp-VPINNs。
• 介绍用于长时间积分和因果感知训练的方法，包括时间扫描型对齐与迁移学习。
• 将PINNs扩展到随机和分数阶PDEs，包括PI-GANs和fPINNs，使用混合残差。
• 通过将多步时间步进与神经网络和符号回归结合，展示对动力系统的数据驱动发现。
• 给出一个数据驱动的示例：糖解振荡器模型通过多步方法和符号回归（PySR）学习，以恢复控制方程的表达式。

Figure 1: Schematic to illustrate three possible categories of physical problems and associated available data: Physics-informed neural networks can integrate seamlessly data and parameterized PDEs, including models with missing physics, in a unified way expressed compactly using automatic different

实验结果

研究问题

• RQ1 如何利用物理信息损失从部分数据或带噪声的数据中学习PDE解和未知参数？
• RQ2 在保持计算效率的前提下，如何将PINNs扩展到多尺度、随机或分数阶PDE？
• RQ3 PINNs是否可用于从数据中发现控制方程，符号回归在识别准确解析形式方面有多有效？
• RQ4 哪些策略可以提升PINNs在长时间积分和大尺度域上的训练稳定性、收敛性和可扩展性？

主要发现

Eq.	PySR	True Expression	RE
1st ODE	2.6-\frac{100S_{1}S_{6}}{38.3S_{6}^{3}-33.7S_{6}^{2}+10.5S_{6}}	2.5-\frac{100S_{1}S_{6}}{1+\left(\frac{S_{6}}{0.52}\right)^{4}}	8.04e-02
7th ODE	1.3S_{4}-3.1S_{7}	1.3S_{4}-3.1S_{7}	0.00
Part of 5th ODE	5.99S_{2}-18.0S_{2}S_{5}	6.0S_{2}-18.0S_{2}S_{5}	3.38e-03

• PINNs能够收敛到准确的PDE解，并且能够在没有基于网格的离散化的情况下处理病态的正向/逆问题。
• 如自适应权重、域分解（CPINN/XPINN）和hp-VPINNs等扩展提高了多尺度问题的可扩展性和效率。
• 使用PINN方法（PI-GANs、fPINNs）可处理随机与分数阶PDE，用于不确定性量化和异常传输。
• 通过因果感知的损失形式和时间扫掠策略可以缓解长时间积分的挑战，实现并行时间分解。
• 一个数据驱动的糖解振荡器示例展示了通过符号回归（PySR）学习动力学并恢复控制方程的能力，对若干ODE项取得较低的相对误差。
• 理论研究在特定PDE类别中给出PINNs的收敛性结果，并在某些条件下提供泛化误差估计。

Figure 2: Basic structure of PINN for conservation laws. The left (physics uninformed) network represents the PDE solution “U(x,t)” while the right (physics informed) network describes the PDE residual “F(x,t)”. Currently, optimization is done by a human-in-the-loop empirically based on trial and er