[论文解读] Revisiting PINNs: Generative Adversarial Physics-informed Neural Networks and Point-weighting Method

Wensheng Li, Chao Zhang+3 more|arXiv (Cornell University)|May 18, 2022

Model Reduction and Neural Networks被引用 13

一句话总结

该论文提出生成对抗物理信息神经网络（GA-PINNs）和点加权（PW）方法，以提升PINN的性能与训练效率。GA-PINNs通过类似生成对抗网络（GAN）的对抗框架，利用少量精确解样本提升解的准确性，而PW则自适应地重新加权训练点以加速收敛——两种方法在基准偏微分方程（PDEs）上均显著优于标准PINNs，尤其在复杂或数据稀缺的场景中表现突出。

ABSTRACT

Physics-informed neural networks (PINNs) provide a deep learning framework for numerically solving partial differential equations (PDEs), and have been widely used in a variety of PDE problems. However, there still remain some challenges in the application of PINNs: 1) the mechanism of PINNs is unsuitable (at least cannot be directly applied) to exploiting a small size of (usually very few) extra informative samples to refine the networks; and 2) the efficiency of training PINNs often becomes low for some complicated PDEs. In this paper, we propose the generative adversarial physics-informed neural network (GA-PINN), which integrates the generative adversarial (GA) mechanism with the structure of PINNs, to improve the performance of PINNs by exploiting only a small size of exact solutions to the PDEs. Inspired from the weighting strategy of the Adaboost method, we then introduce a point-weighting (PW) method to improve the training efficiency of PINNs, where the weight of each sample point is adaptively updated at each training iteration. The numerical experiments show that GA-PINNs outperform PINNs in many well-known PDEs and the PW method also improves the efficiency of training PINNs and GA-PINNs.

研究动机与目标

• 解决标准PINNs在利用少量精确解样本以改善数值PDE解方面的局限性。
• 克服PINNs在复杂PDE中训练效率低下的问题，尤其是在难以获得解析解的情况下。
• 提出一种新颖的框架，将生成对抗训练与物理信息神经网络相结合，以更好地利用稀疏但高质量的数据。
• 提出一种受Adaboost启发的点加权策略，动态调整训练过程中样本的重要性，以加速收敛。
• 在一系列PDE上验证GA-PINNs与PW的有效性，包括Helmholtz方程、Poisson方程、Burgers方程和Schrödinger方程。

提出的方法

• 提出GA-PINNs作为基于GAN的架构，其中生成器网络生成PDE解，判别器则区分其与真实精确解。
• 使用少量标记的精确解点集 $\{({\bf x}_T^{(j)}, u_T^{(j)})\}_{j=1}^J$，通过最小化极大博弈训练生成器与判别器。
• 在每次对抗训练步骤后，通过最小化标准物理信息损失 $\mathcal{L}_{\text{PINN}}$ 对生成器进行微调，以纠正潜在的分布漂移。
• 通过自适应增加高残差误差点（HL-points）和低误差点（EL-points）的损失权重，实现点加权（PW）方法，该过程贯穿训练迭代。
• 在PW中采用两阶段训练策略：首先通过强调高误差点稳定网络，随后通过增强低误差点来优化性能。
• 将PW集成至GA-PINN训练中（GA-PINN+PW），以进一步加速收敛并提升解的准确性。

实验结果

研究问题

• RQ1 当仅有少量精确解样本可用时，如何增强物理信息神经网络的性能？
• RQ2 生成对抗框架能否有效利用稀疏但高质量的解样本，以提升PINN的准确性？
• RQ3 基于残差误差的自适应点加权是否能提升PINNs与GA-PINNs的训练效率？
• RQ4 在何种条件下PW方法会失效或导致性能下降，尤其是在标签数据有限的复杂PDE中？
• RQ5 GA-PINNs与PW能否有效结合，实现比标准PINNs更快的收敛速度与更高的准确性？

主要发现

• GA-PINNs在多个PDE上（包括Helmholtz方程、Poisson方程和HD Poisson方程）均显著优于标准PINNs，解的准确性大幅提升。
• PW方法减少了训练时间并提升了收敛速度，尤其在损失波动剧烈的场景中表现优异，且不损害解的质量。
• 在大多数测试的PDE中，GA-PINN+PW优于GA-PINN与PINN+PW，表明对抗学习与自适应加权相结合具有协同增益效应。
• 在Burgers方程与Schrödinger方程等复杂PDE中，当标签数据不足时，PW方法可能因最小-最大训练过程的不稳定性而导致性能下降。
• 在简单问题中，PINN+PW可达到与GA-PINN相当的性能，表明其是低复杂度PDE在数据极少情况下的可行替代方案。
• GA-PINNs仅利用极少数精确解样本即可有效提升泛化能力，验证了其在数据稀缺的物理建模场景中的实用价值。