[论文解读] Variational Physics-Informed Neural Networks For Solving Partial Differential Equations

Ehsan Kharazmi, Zhongqiang Zhang+1 more|arXiv (Cornell University)|Nov 27, 2019

Model Reduction and Neural Networks参考文献 31被引用 197

一句话总结

引入 VPINN，一种物理信息神经网络的佩特罗夫-加勒根变分形式，将神经网络作为试验空间并使用勒让德多项式作为测试函数，以比 PINN 更高效、更加准确地求解偏微分方程。

ABSTRACT

Physics-informed neural networks (PINNs) [31] use automatic differentiation to solve partial differential equations (PDEs) by penalizing the PDE in the loss function at a random set of points in the domain of interest. Here, we develop a Petrov-Galerkin version of PINNs based on the nonlinear approximation of deep neural networks (DNNs) by selecting the {\em trial space} to be the space of neural networks and the {\em test space} to be the space of Legendre polynomials. We formulate the extit{variational residual} of the PDE using the DNN approximation by incorporating the variational form of the problem into the loss function of the network and construct a extit{variational physics-informed neural network} (VPINN). By integrating by parts the integrand in the variational form, we lower the order of the differential operators represented by the neural networks, hence effectively reducing the training cost in VPINNs while increasing their accuracy compared to PINNs that essentially employ delta test functions. For shallow networks with one hidden layer, we analytically obtain explicit forms of the extit{variational residual}. We demonstrate the performance of the new formulation for several examples that show clear advantages of VPINNs over PINNs in terms of both accuracy and speed.

研究动机与目标

• 将偏微分方程的变分（弱）形式融入基于神经网络的求解器，以在准确性和效率上优于强形式的 PINN。
• 通过分部积分降低微分算子阶数，从而降低正则性要求和训练成本。
• 为浅层网络提供解析可解性并促进域分解和局部学习。
• 在具有代表性的偏微分方程上展示 VPINN 的性能并与 PINN 进行比较。
• 在简单网络设置中提供变分残差的解析表达式，以阐明该方法。

提出的方法

• 在神经网络框架内将偏微分方程用于变分（弱）形式并用一组测试函数来惩罚残差。
• 用深度神经网络表示解（试验空间），同时使用一个独立的线性测试空间（例如勒让德多项式或正弦函数）。
• 使用偏微分算子与测试函数的内积构造变分残差，并通过变分损失 L^v 进行约束。
• 通过分部积分降低残差中的微分阶数，从而降低正则性要求和训练成本。
• 对于浅层网络，推导变分残差的明确解析形式；对于更深的网络，应用数值求积来计算积分。
• 讨论多种变分残差形式（Rk^(1)、Rk^(2)、Rk^(3)）及其对损失构建和边界处理的影响。

实验结果

研究问题

• RQ1 相较于强形式 PINN，变分（弱）形式如何影响神经网络求解 PDE 的训练效率与准确性？
• RQ2 佩特罗夫-加勒根 VPINN 框架能否在保持或提高解的精度的同时降低算子阶数和计算成本？
• RQ3 在简单的浅层 VPINN 设置中，变分残差的解析形式和数值考虑是什么？
• RQ4 测试函数选择和边界处理如何影响 VPINN 的性能与稳定性？
• RQ5 域分解和局部测试空间对 VPINN 学习效率有何影响？

主要发现

• 在所测试的示例中，VPINN 相较于 PINN 在准确性和速度方面有所提升，原因是降低了算子阶数和减少了惩罚点。
• 对于具有特定激活函数的浅层网络，可以推导出解析的变分残差，说明该方法的可解性。
• 通过惩罚项引入边界条件的变分形式，在选择合适的惩罚参数后可以达到高精度。
• 使用正弦激活和正弦测试函数的浅层 VPINN 在 Burgers 方程测试中给出显式残差表达式并获得有竞争力的误差。
• 边界处理和优化行为（初始化、惩罚参数）显著影响 VPINN 收敛性和准确性。