[论文解读] Multilevel domain decomposition-based architectures for physics-informed neural networks

Victorita Dolean, Alexander Heinlein+2 more|arXiv (Cornell University)|Jun 8, 2023

Model Reduction and Neural Networks参考文献 54被引用 5

一句话总结

该论文提出多级FBPINN，一种物理信息神经网络架构，通过在解的近似中引入多级重叠域分解，以提高高频和多尺度微分方程求解的精度与效率。通过分层分解实现子域间的全局通信，该方法在精度和可扩展性方面显著优于标准PINNs和单级FBPINNs。

ABSTRACT

Physics-informed neural networks (PINNs) are a powerful approach for solving problems involving differential equations, yet they often struggle to solve problems with high frequency and/or multi-scale solutions. Finite basis physics-informed neural networks (FBPINNs) improve the performance of PINNs in this regime by combining them with an overlapping domain decomposition approach. In this work, FBPINNs are extended by adding multiple levels of domain decompositions to their solution ansatz, inspired by classical multilevel Schwarz domain decomposition methods (DDMs). Analogous to typical tests for classical DDMs, we assess how the accuracy of PINNs, FBPINNs and multilevel FBPINNs scale with respect to computational effort and solution complexity by carrying out strong and weak scaling tests. Our numerical results show that the proposed multilevel FBPINNs consistently and significantly outperform PINNs across a range of problems with high frequency and multi-scale solutions. Furthermore, as expected in classical DDMs, we show that multilevel FBPINNs improve the accuracy of FBPINNs when using large numbers of subdomains by aiding global communication between subdomains.

研究动机与目标

• 为解决标准物理信息神经网络（PINNs）在求解高频和多尺度微分方程时表现不佳的问题。
• 通过引入基于域分解的多级子域分解架构，克服PINNs中的谱偏差和优化挑战。
• 通过引入粗粒度子域，提升FBPINNs中子域间的全局通信，受经典多级Schwarz域分解方法的启发。
• 通过在基准PDE问题上进行强弱可扩展性测试，评估所提出的多级FBPINN框架的可扩展性与精度。

提出的方法

• 该方法通过引入多级重叠域分解，扩展了有限基物理信息神经网络（FBPINNs），其中每一级通过子域神经网络的分层求和贡献于全局解。
• 在每一级中，局部神经网络在重叠子域上进行训练，其输出通过求和形成全局解，重叠区域实现了子域间的隐式耦合。
• 通过预先将配点映射到相关子域，并使用JAX的vmap并行化GPU上的子网络评估，实现高效求解。
• 损失函数在所有配点上强制满足PDE残差，所有层级中所有子域网络的贡献共同确保全局一致性。
• 该架构通过在不同尺度的多个子域上分布高频解分量，减轻了谱偏差的影响。
• 该框架支持前向建模与代理学习，支持多GPU训练，并可在不同PDE系数或边界条件下重复使用。

实验结果

研究问题

• RQ1 在涉及高频和多尺度解的PDE问题中，多级FBPINNs与标准PINNs及单级FBPINNs相比，精度如何？
• RQ2 多级域分解在多大程度上改善了子域间的全局通信与解的一致性？
• RQ3 在计算成本与精度方面，PINNs、FBPINNs与多级FBPINNs在强弱可扩展性行为上存在哪些差异？
• RQ4 当使用大量子域时，多级FBPINNs能否维持或提升精度，这是否与经典域分解理论的预测一致？

主要发现

• 在所有涉及高频和多尺度解的测试问题中，多级FBPINNs在精度上始终且显著优于标准PINNs。
• 当使用大量子域时，该方法在精度上优于单级FBPINNs，表明通过粗粒度子域实现了增强的全局通信。
• 强可扩展性测试表明，随着子域数量增加，多级FBPINNs保持或提升精度，与经典多级域分解方法的理论预期一致。
• 弱可扩展性结果表明，多级FBPINNs能高效扩展至更高复杂度的问题，在保持精度的同时将计算负载分布于各子域。
• 所提出的架构在相对PINNs降低训练成本的同时，提升了具有复杂谱内容问题的收敛性，尽管由于非凸优化，训练速度仍慢于传统求解器。
• 在基线比较中使用傅里叶特征的验证表明，即使在后者引入傅里叶特征嵌入后，多级FBPINNs仍显著优于PINNs。