[论文解读] Solving Partial Differential Equations with Point Source Based on Physics-Informed Neural Networks

Xiang Huang, Hongsheng Liu+12 more|arXiv (Cornell University)|Nov 2, 2021

Model Reduction and Neural Networks参考文献 28被引用 12

一句话总结

该论文提出了一种物理信息神经网络（PINN）方法，用于求解具有狄拉克δ函数点源的偏微分方程（PDEs），此类问题传统上会导致奇异性问题。通过使用连续概率密度函数近似δ函数、引入下界约束的不确定性加权以实现损失平衡，并采用具有周期性激活函数的多尺度SIREN网络，该方法在三个基准PDE问题上实现了高精度和快速收敛，其在准确性、效率和通用性方面优于现有的基于深度学习的方法。

ABSTRACT

In recent years, deep learning technology has been used to solve partial differential equations (PDEs), among which the physics-informed neural networks (PINNs) emerges to be a promising method for solving both forward and inverse PDE problems. PDEs with a point source that is expressed as a Dirac delta function in the governing equations are mathematical models of many physical processes. However, they cannot be solved directly by conventional PINNs method due to the singularity brought by the Dirac delta function. We propose a universal solution to tackle this problem with three novel techniques. Firstly the Dirac delta function is modeled as a continuous probability density function to eliminate the singularity; secondly a lower bound constrained uncertainty weighting algorithm is proposed to balance the PINNs losses between point source area and other areas; and thirdly a multi-scale deep neural network with periodic activation function is used to improve the accuracy and convergence speed of the PINNs method. We evaluate the proposed method with three representative PDEs, and the experimental results show that our method outperforms existing deep learning-based methods with respect to the accuracy, the efficiency and the versatility.

研究动机与目标

• 解决在求解具有狄拉克δ函数点源的PDE时，物理信息神经网络（PINNs）中出现的奇异性问题。
• 开发一种无需变分形式或标注数据的通用、无数据方法，适用于具有点源的PDE。
• 通过平衡点源区域与其他区域之间的损失贡献，提升训练稳定性和收敛性。
• 通过采用具有周期性激活函数的多尺度深度神经网络架构，提升解的精度和训练速度。
• 在多种PDE上验证该方法，证明其鲁棒性和泛化能力。

提出的方法

• 使用对称单峰连续概率密度函数（如正态分布、柯西分布、拉普拉斯分布）对狄拉克δ函数进行近似，以消除损失函数中的奇异性。
• 引入下界约束的不确定性加权算法，动态平衡点源区域与其他区域之间的损失项，防止源区域欠拟合。
• 采用多尺度SIREN（正弦激活神经网络）架构，通过多个子网络捕捉解中的多频成分，提升模型表征能力。
• 在神经网络中使用周期性激活函数（尤其是正弦函数），以更好地建模波和电磁PDE中常见的振荡解。
• 使用PDE残差损失、边界条件和光滑化源项对PINN进行训练，利用自动微分计算梯度。
• 通过消融研究优化超参数，包括不确定性加权中的下界ε值以及网络深度/架构。

实验结果

研究问题

• RQ1 使用连续近似方法是否能有效解决PINNs在点源PDE中遇到的奇异性问题？
• RQ2 如何改进损失加权策略，以确保在点源区域和整个域中均能准确学习？
• RQ3 具有周期性激活函数的多尺度深度神经网络是否能提升点源PDE的解精度和收敛速度？
• RQ4 所提方法在不同类型点源PDE（如泊松方程、麦克斯韦方程和Barry与Mercer问题）上的泛化能力如何？
• RQ5 各项所提技术（平滑处理、不确定性加权、多尺度架构）对整体性能的相对贡献是什么？

主要发现

• 该方法在麦克斯韦方程问题上实现了$ L_2 $误差为0.017，显著优于基线PINN方法。
• 使用高斯近似狄拉克δ函数时，$ L_2 $误差为0.017；柯西和拉普拉斯近似分别得到0.051和0.025的误差，证实了对平滑函数选择的鲁棒性。
• 下界约束的不确定性加权方法在$ \epsilon = 0.01 $时实现了平均$ L_2 $误差0.017，优于原始不确定性加权（$ \epsilon = 0 $）和等权重策略。
• 在所有三个测试问题中，正弦激活函数在收敛速度和精度方面均优于ReLU和Tanh，尤其在波状解中表现更优。
• 多尺度SIREN架构在具有多频成分的问题（如麦克斯韦方程和泊松方程）中提升了性能，但在仅含单频解的Barry与Mercer问题中提升有限。
• 在麦克斯韦方程问题上，平滑处理、不确定性加权和多尺度架构三者缺一不可，共同实现最优性能，体现了其协同效应。