[论文解读] On the convergence of PINNs

Nathan Doumèche, Gérard Biau+1 more|arXiv (Cornell University)|May 2, 2023

Model Reduction and Neural Networks参考文献 60被引用 5

一句话总结

本文对物理信息神经网络（PINNs）进行了理论分析，表明岭正则化可确保线性和非线性PDE系统中的风险一致性。通过泛函分析与变分法，建立了向物理一致解的强收敛性，且可实现的Sobolev型正则化方法在线性PDE中实现了统计精度与物理保真度的统一。

ABSTRACT

Physics-informed neural networks (PINNs) are a promising approach that combines the power of neural networks with the interpretability of physical modeling. PINNs have shown good practical performance in solving partial differential equations (PDEs) and in hybrid modeling scenarios, where physical models enhance data-driven approaches. However, it is essential to establish their theoretical properties in order to fully understand their capabilities and limitations. In this study, we highlight that classical training of PINNs can suffer from systematic overfitting. This problem can be addressed by adding a ridge regularization to the empirical risk, which ensures that the resulting estimator is risk-consistent for both linear and nonlinear PDE systems. However, the strong convergence of PINNs to a solution satisfying the physical constraints requires a more involved analysis using tools from functional analysis and calculus of variations. In particular, for linear PDE systems, an implementable Sobolev-type regularization allows to reconstruct a solution that not only achieves statistical accuracy but also maintains consistency with the underlying physics.

研究动机与目标

• 为PINNs求解PDE及混合建模任务提供理论保证。
• 通过正则化解决经典PINN训练中的系统性过拟合问题。
• 确保风险一致性并实现向满足物理约束解的强收敛。
• 提供可实现的正则化方法，以同时保持统计精度与物理一致性。

提出的方法

• 在经验风险中引入岭正则化，以确保线性和非线性PDE系统中的风险一致性。
• 应用泛函分析与变分法工具，分析向物理解的强收敛性。
• 针对线性PDE系统，提出一种可实现的Sobolev型正则化方法，以同时实现统计精度与物理一致性。
• 利用Rademacher复杂度与经验过程理论，对泛化误差进行上界估计。
• 分析希尔伯特空间中Sobolev函数上的正则化经验风险最小化器的收敛性。
• 利用集中不等式与矩界，推导出期望泛化误差与物理不一致性误差的上界。

实验结果

研究问题

• RQ1 经典PINN训练在正则化下是否可证明具有风险一致性？
• RQ2 岭正则化是否能确保PDE系统中向满足物理约束解的强收敛？
• RQ3 可实现的Sobolev型正则化是否能在线性PDE中重建兼具统计精度与物理一致性的解？
• RQ4 随着训练样本数增加，PINNs的泛化误差行为如何？
• RQ5 神经网络的Sobolev范数在控制数据拟合与物理一致性之间的权衡中起什么作用？

主要发现

• 岭正则化确保了PINN训练中线性和非线性PDE系统均具有风险一致性。
• 通过泛函分析与变分法，建立了向物理一致解的强收敛性。
• 在线性PDE中，可实现的Sobolev型正则化可实现兼具统计精度与物理一致性的解的重构。
• 期望泛化误差被有界于随 $ \mathcal{O}_n\to\infty\left(\frac{\lambda_d}{n\lambda_t}\right) $ 衰减的项，确保收敛性。
• 期望物理不一致性误差 $ \mathbb{E}[\mathrm{PI}(\hat{u}_n)] $ 随 $ n \to \infty $ 收敛至 $ \mathrm{PI}(u^\star) $，证实了其一致性。
• 分析确认 $ \mathbb{E}[\mathscr{R}_n^{(\mathrm{reg})}(\hat{u}_n)] \geq \lambda_d\mathbb{E}\|\varepsilon\|_2^2 + \mathbb{E}[\mathrm{PI}(\hat{u}_n)] + o_{n\to\infty}(1) $，验证了正则化方法的有效性。