[论文解读] Physics-Informed Deep-Learning for Scientific Computing.

Stefano Markidis|arXiv (Cornell University)|Mar 12, 2021

Model Reduction and Neural Networks参考文献 34被引用 5

一句话总结

本文通过将物理信息神经网络（PINNs）与多重网格法和高斯-赛德尔法等传统求解器相结合，评估了其在科学计算中求解泊松方程这一核心计算任务的性能。结果表明，尽管单独使用PINNs在精度和效率方面存在局限，但将深度学习与经典方法结合的混合方法为开发新一代加速线性求解器提供了可行路径。

ABSTRACT

Physics-Informed Neural Networks (PINN) are neural networks that encode the problem governing equations, such as Partial Differential Equations (PDE), as a part of the neural network training. PINNs have emerged as an essential tool to solve various challenging problems, such as computing linear and non-linear PDEs, completing data assimilation and uncertainty quantification tasks. In this work, we focus on evaluating the PINN potential to replace or accelerate traditional approaches for solving linear systems. We solve the Poisson equation, one of the most critical and computational-intensive tasks in scientific computing, with different source terms. We test and evaluate PINN performance under different configurations (depth, activation functions, input data set distribution, and transfer learning impact). We show how to integrate PINN with traditional scientific computing approaches, such as multigrid and Gauss-Seidel methods. While the accuracy and computational performance is still a limiting factor for the direct use of PINN for solving, hybrid strategies are a viable option for the development of a new class of linear solvers combining emerging deep-learning and traditional scientific computing approaches.

研究动机与目标

• 评估物理信息神经网络（PINNs）作为传统线性求解器的替代方案或加速器在科学计算中的可行性。
• 研究PINNs在不同源项、网络配置和数据分布下求解泊松方程的性能表现。
• 探索PINNs与成熟迭代求解器（如多重网格法和高斯-赛德尔法）的集成策略。
• 识别基于PINNs的求解器中的性能瓶颈，并提出结合深度学习与经典数值方法优势的混合解决方案。
• 推动开发一类新型混合线性求解器，融合新兴深度学习技术与成熟的科学计算方法。

提出的方法

• 通过将控制偏微分方程（泊松方程）作为损失函数的一部分进行训练，使PINNs在优化过程中直接嵌入物理定律。
• 测试不同网络架构配置，包括深度、激活函数和输入数据分布，以评估其对解的精度和收敛性的影响。
• 应用迁移学习，评估预训练的PINNs是否能加速新源项或问题配置下的训练过程。
• 将PINNs与传统迭代求解器耦合：PINNs提供初始近似解或校正项，而经典求解器负责进一步提升解的精度与效率。
• 在多重网格框架中与PINNs协同使用多重网格法和高斯-赛德尔法，其中PINNs作为光滑器或预条件子。
• 在具有不同源项的多个测试案例中评估混合框架的鲁棒性与计算性能。

实验结果

研究问题

• RQ1 PINNs能否在精度上与传统数值方法相媲美，有效求解泊松方程？
• RQ2 网络深度、激活函数和输入数据分布等超参数如何影响PINNs在求解PDE时的性能表现？
• RQ3 迁移学习在泊松方程新源项求解中能在多大程度上提升PINNs的训练效率？
• RQ4 如何有效将PINNs与高斯-赛德尔法和多重网格法等经典求解器结合，以提升计算性能？
• RQ5 独立运行的PINNs在科学计算中存在哪些局限性？混合策略能否克服这些局限？

主要发现

• 单独使用的PINNs在求解泊松方程时面临精度和计算性能的局限，尤其在高精度要求下更为明显。
• 网络深度和激活函数显著影响解的精度，在测试配置下ReLU和Swish表现尤为出色。
• 输入数据分布对收敛速度和解的质量有明显影响，均匀采样和自适应采样在某些情况下优于随机采样。
• 迁移学习可显著缩短新源项的训练时间，表明预训练的PINNs可在相似问题间复用。
• 混合策略（如PINNs提供初始近似或校正项）相比独立PINNs展现出更优的收敛性与更低的计算成本。
• 与多重网格法和高斯-赛德尔法的集成表明，PINNs可作为有效的光滑器或预条件子，显著提升经典求解器的性能。