[论文解读] On the Convergence and generalization of Physics Informed Neural Networks.

Yeonjong Shin, Jérôme Darbon+1 more|arXiv (Cornell University)|Apr 3, 2020

Model Reduction and Neural Networks参考文献 9被引用 53

一句话总结

该论文建立了物理信息神经网络（PINNs）的首个理论基础，证明了随着训练数据的增加，PINNs 生成的神经网络最小化器序列在 $L^2$ 范数下强收敛于椭圆型和抛物型偏微分方程（PDEs）的真实解。当每个最小化器精确满足初始/边界条件时，收敛性提升至 $H^1$ 范数。

ABSTRACT

Physics informed neural networks (PINNs) are deep learning based techniques for solving partial differential equations (PDEs). Guided by data and physical laws, PINNs find a neural network that approximates the solution to a system of PDEs. Such a neural network is obtained by minimizing a loss function in which any prior knowledge of PDEs and data are encoded. Despite its remarkable empirical success, there is little theoretical justification for PINNs. In this paper, we establish a mathematical foundation of the PINNs methodology. As the number of data grows, PINNs generate a sequence of minimizers which correspond to a sequence of neural networks. We want to answer the question: Does the sequence of minimizers converge to the solution to the PDE? This question is also related to the generalization of PINNs. We consider two classes of PDEs: elliptic and parabolic. By adapting the Schuader approach, we show that the sequence of minimizers strongly converges to the PDE solution in $L^2$. Furthermore, we show that if each minimizer satisfies the initial/boundary conditions, the convergence mode can be improved to $H^1$. Computational examples are provided to illustrate our theoretical findings. To the best of our knowledge, this is the first theoretical work that shows the consistency of the PINNs methodology.

研究动机与目标

• 为物理信息神经网络（PINNs）提供严格的数学基础，尽管其在实践中表现强劲，但目前仍缺乏理论支持。
• 研究当训练数据点数量增加时，PINNs 生成的最小化器序列是否收敛于 PDE 的真实解。
• 通过研究其学习到的神经网络近似解的收敛性，分析 PINNs 的泛化行为。
• 将 Schauder 方法拓展至 PINNs，并在初始条件与边界条件被强制满足的现实条件下建立收敛性。

提出的方法

• 将 Schauder 不动点定理框架适配用于分析 PINN 最小化器向 PDE 解的收敛性。
• 将 PINN 损失函数表述为数据保真项与物理定律强制项的组合，将 PDE 约束直接编码至优化目标中。
• 证明随着训练数据点数量的增加，椭圆型和抛物型 PDE 均实现强 $L^2$ 收敛。
• 当序列中每个最小化器精确满足初始与边界条件时，建立改进的 $H^1$ 收敛。
• 利用变分分析与紧致性论证，证明最小化器序列是预紧的，并收敛于 PDE 的解。
• 应用泛函分析工具，确保极限解的存在性与唯一性，从而将神经网络近似与真实 PDE 解联系起来。

实验结果

研究问题

• RQ1 随着训练数据点数量的增加，PINNs 生成的神经网络最小化器序列是否收敛于 PDE 的真实解？
• RQ2 在初始与边界数据满足不同条件时，PINN 近似解的收敛模式（如 $L^2$、$H^1$）如何变化？
• RQ3 Schauder 方法能否被适配以证明在含物理约束的 PDE 框架下，PINNs 的收敛性？
• RQ4 在每个最小化器中强制执行初始与边界条件，如何影响收敛速度与近似解的范数？
• RQ5 PINN 方法是否具有一致性，即其学习到的解是否随数据增长而趋近于真实的 PDE 解？

主要发现

• 随着训练数据点数量的增加，PINNs 生成的最小化器序列在 $L^2$ 范数下强收敛于 PDE 的真实解。
• 当每个最小化器精确满足初始与边界条件时，收敛模式从 $L^2$ 提升至 $H^1$，表明解的正则性与近似质量得到改善。
• 该理论框架确立了 PINN 方法的一致性，首次为其实证成功提供了正式的理论依据。
• 收敛结果已证明适用于椭圆型与抛物型 PDE，表明该理论方法具有广泛适用性。
• Schauder 方法的应用使得通过函数空间中的紧致性与连续性证明收敛性成为可能。
• 计算示例验证了理论发现，表明收敛行为与预测的 $L^2$ 与 $H^1$ 模式一致。