[论文解读] Solving differential equations using physics informed deep learning: a hand-on tutorial with benchmark tests

Hubert Baty, Leo Baty|arXiv (Cornell University)|Feb 23, 2023

Model Reduction and Neural Networks被引用 6

一句话总结

本文提供了一个关于物理信息神经网络（PINNs）求解常微分方程（ODEs）的实践教程，通过在训练过程中将物理定律直接整合到损失函数中。结果表明，对于弱非线性问题，PINNs 仅需少量数据即可获得高精度解；而对于强非线性系统（如范德波尔振子），则需要大量训练数据，凸显了数据效率与泛化能力之间的权衡。

ABSTRACT

We revisit the original approach of using deep learning and neural networks to solve differential equations by incorporating the knowledge of the equation. This is done by adding a dedicated term to the loss function during the optimization procedure in the training process. The so-called physics-informed neural networks (PINNs) are tested on a variety of academic ordinary differential equations in order to highlight the benefits and drawbacks of this approach with respect to standard integration methods. We focus on the possibility to use the least possible amount of data into the training process. The principles of PINNs for solving differential equations by enforcing physical laws via penalizing terms are reviewed. A tutorial on a simple equation model illustrates how to put into practice the method for ordinary differential equations. Benchmark tests show that a very small amount of training data is sufficient to predict the solution when the non linearity of the problem is weak. However, this is not the case in strongly non linear problems where a priori knowledge of training data over some partial or the whole time integration interval is necessary.

研究动机与目标

• 提供一个关于实现物理信息神经网络（PINNs）求解常微分方程（ODEs）的实用、分步式教程。
• 评估 PINNs 在一系列非线性程度递增的学术 ODE 上的表现，并与标准数值积分方法进行比较。
• 研究 PINN 训练的最小数据需求，特别关注初始条件和配点的作用。
• 识别 PINNs 相较于经典数值求解器在数据效率和收敛性方面表现更优或更劣的条件。
• 强调 PINNs 的无网格特性作为关键优势，同时讨论超参数调优和训练稳定性的挑战。

提出的方法

• 通过最小化复合损失函数来训练 PINNs，该损失函数结合了数据保真度（监督损失）和物理一致性（微分方程残差）。
• 物理损失在定义域内分布的配点处计算，以确保神经网络解在这些点上满足微分方程。
• 使用自动微分计算网络输出对输入变量（如时间）的导数，从而精确评估残差中的微分项。
• 采用前馈神经网络架构，输入层用于空间和时间坐标，隐藏层用于非线性逼近，输出层仅包含一个神经元表示解。
• 使用基于梯度的优化方法（如 Adam）进行训练，通过调整学习率、数据权重和物理损失权重等超参数，以平衡收敛性和精度。
• 在包括线性、非线性和强非线性（范德波尔）系统的 ODE 上进行基准测试，通过与解析解或高精度数值解对比评估解的准确性。

Figure 1: Schematic representation of the structure for a Physics-Informed Neural Network applied to the resolution of a differential equation. The input layer has two input variables (i.e. two neurons) noted $x_{1}$ and $x_{2}$ representing for example a space and a time coordinate respectively. Tw

实验结果

研究问题

• RQ1 当仅使用初始条件作为训练数据时，PINNs 在弱非线性系统中的求解效果如何，尤其在数据有限的情况下？
• RQ2 在不同非线性程度的系统中，PINNs 达到准确解所需的最少训练数据点和配点数量是多少？
• RQ3 随着 ODE 非线性程度的增加（如范德波尔振子中 ε 较大时），PINNs 的性能如何退化？
• RQ4 在哪些场景下，PINNs 在数据效率和求解速度方面优于传统数值求解器（如龙格-库塔法）？
• RQ5 在强非线性问题中，PINNs 的超参数调优和收敛性方面面临哪些主要挑战？

主要发现

• 对于弱非线性 ODE，PINNs 仅需 3 个初始条件数据点和 20–40 个配点即可获得高精度解，远少于传统方法所需的数据量。
• 在范德波尔振子（ε = 1/3）的情况下，PINNs 仅需 48 个配点和极少的数据即可收敛至精确解，表现出极高的数据效率。
• 对于强非线性情形（ε = 5），若未在全时间域覆盖大量训练数据，PINNs 无法收敛，表明其对数据量存在关键依赖。
• 训练完成后，解的预测是即时的，相比传统求解器（后者需为每个新输入重新积分），具有显著优势。
• 该方法对超参数调优极为敏感，尚无自动调优程序可用，且在高非线性区域易出现收敛问题。
• 尽管存在局限性，PINNs 仍保持无网格优势，可在无需结构化网格的情况下实现全域解的预测。

Figure 2: Tutorial solution $\hat{y_{\theta}}(t)$ (red solid line) predicted by the normal NN for $n_{t}=4000$ iterations (in left panel) and $n_{t}=24000$ iterations (in right panel) respectively, and compared to the exact solution (blue hatched line). The chosen training data set values are indica