[论文解读] Sobolev Training for Physics Informed Neural Networks

Hwijae Son, Jin Woo Jang+2 more|arXiv (Cornell University)|Jan 22, 2021

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出Sobolev-PINNs，一种新颖的训练框架，通过在损失函数中引入Sobolev范数，提升物理信息神经网络（PINNs）的收敛速度与解的精度。通过最小化Sobolev空间（特别是$H^1$和$H^2$）中的误差，该方法在黏性Burgers方程和Fokker–Planck方程等PDE中实现更快收敛，兼具理论保证与低维及高维问题的实证验证。

ABSTRACT

Physics Informed Neural Networks (PINNs) is a promising application of deep learning. The smooth architecture of a fully connected neural network is appropriate for finding the solutions of PDEs; the corresponding loss function can also be intuitively designed and guarantees the convergence for various kinds of PDEs. However, the rate of convergence has been considered as a weakness of this approach. This paper proposes Sobolev-PINNs, a novel loss function for the training of PINNs, making the training substantially efficient. Inspired by the recent studies that incorporate derivative information for the training of neural networks, we develop a loss function that guides a neural network to reduce the error in the corresponding Sobolev space. Surprisingly, a simple modification of the loss function can make the training process similar to extit{Sobolev Training} although PINNs is not a fully supervised learning task. We provide several theoretical justifications that the proposed loss functions upper bound the error in the corresponding Sobolev spaces for the viscous Burgers equation and the kinetic Fokker--Planck equation. We also present several simulation results, which show that compared with the traditional $L^2$ loss function, the proposed loss function guides the neural network to a significantly faster convergence. Moreover, we provide the empirical evidence that shows that the proposed loss function, together with the iterative sampling techniques, performs better in solving high dimensional PDEs.

研究动机与目标

• 解决传统物理信息神经网络（PINNs）依赖$L^2$损失函数导致的收敛缓慢问题。
• 提出一种新损失函数，通过Sobolev范数引入导数信息，更有效地指导神经网络训练。
• 理论上证明，最小化所提出的Sobolev损失可确保关键PDE在$H^1$与$H^2$范数下逼近误差的收敛性。
• 通过实证验证，表明该方法可显著减少达到目标精度所需的训练轮次。
• 通过迭代采样策略将框架扩展至高维PDE，显示其性能优于标准PINNs。

提出的方法

• 提出一种新损失函数，惩罚PDE残差及其在$H^1$与$H^2$ Sobolev范数下的导数。
• 将损失表示为神经网络输出及其一阶与二阶导数的$L^2$范数的加权和。
• 将Sobolev损失整合进PINN训练流程，替代或补充标准$L^2$残差损失。
• 基于能量估计与Grönwall不等式进行理论分析，证明$H^1$与$H^2$误差收敛至零。
• 将该方法应用于一维黏性Burgers方程、一维动力学Fokker–Planck方程及一维Poisson方程（带Dirichlet边界条件）。
• 结合Sobolev-PINN框架与迭代采样技术，提升高维PDE的求解性能。

实验结果

研究问题

• RQ1 在PINN损失函数中引入Sobolev范数是否能显著加速PDE解的收敛？
• RQ2 最小化残差误差的$H^1$与$H^2$范数是否能保证神经网络逼近在Sobolev空间中的收敛？
• RQ3 与基于$L^2$的Sobolev-PINNs相比，所提出的Sobolev-PINN框架在训练速度与精度方面表现如何？
• RQ4 能否通过迭代采样策略有效将Sobolev-PINN框架扩展至高维PDE？
• RQ5 Sobolev损失与解空间中实际逼近误差之间的理论关系是什么？

主要发现

• 所提出的Sobolev-PINN损失函数相比标准$L^2$-based PINNs实现显著更快的收敛，大幅减少达到给定精度所需的训练轮次。
• 理论分析证明，当Sobolev损失趋近于零时，黏性Burgers方程与动力学Fokker–Planck方程的$H^1$与$H^2$逼近误差范数也收敛至零。
• 对于一维Poisson方程，该方法确保误差的$H^{m+2}$范数由残差的$H^m$范数有界，验证了Sobolev空间中的收敛性。
• 实证结果表明，当解光滑时，损失函数中更高阶导数项（如$H^2$）可实现更快收敛。
• Sobolev-PINNs与迭代采样技术的结合显著提升了高维PDE的求解性能，展现出良好的鲁棒性与可扩展性。
• 该框架适用于多种PDE，包括热方程、Burgers方程、Fokker–Planck方程及高维Poisson方程，且在所有情况下均一致优于基线PINNs。