[论文解读] NeuralPDE: Automating Physics-Informed Neural Networks (PINNs) with Error Approximations

Kirill Zubov, Zoe McCarthy+12 more|arXiv (Cornell University)|Jul 19, 2021

Model Reduction and Neural Networks被引用 49

一句话总结

NeuralPDE 提出一种基于求积的形式，产生具有有界误差容限的新型损失函数，使得自动化 PINN 工作流具备符号代码生成和 GPU 支持。

ABSTRACT

Physics-informed neural networks (PINNs) are an increasingly powerful way to solve partial differential equations, generate digital twins, and create neural surrogates of physical models. In this manuscript we detail the inner workings of NeuralPDE.jl and show how a formulation structured around numerical quadrature gives rise to new loss functions which allow for adaptivity towards bounded error tolerances. We describe the various ways one can use the tool, detailing mathematical techniques like using extended loss functions for parameter estimation and operator discovery, to help potential users adopt these PINN-based techniques into their workflow. We showcase how NeuralPDE uses a purely symbolic formulation so that all of the underlying training code is generated from an abstract formulation, and show how to make use of GPUs and solve systems of PDEs. Afterwards we give a detailed performance analysis which showcases the trade-off between training techniques on a large set of PDEs. We end by focusing on a complex multiphysics example, the Doyle-Fuller-Newman (DFN) Model, and showcase how this PDE can be formulated and solved with NeuralPDE. Together this manuscript is meant to be a detailed and approachable technical report to help potential users of the technique quickly get a sense of the real-world performance trade-offs and use cases of the PINN techniques.

研究动机与目标

• 提供关于 NeuralPDE 的详细技术报告以及其如何实现 PINN 的自动化。
• 解释基于求积的形式如何带来具有误差容忍度的自适应性。
• 展示扩展损失形式如何帮助参数估计和算子发现。
• 展示框架的纯符号化表述以及从抽象表述生成代码。

提出的方法

• 使用数值求积来表述 PINN 的训练损失，以实现误差可控的自适应。
• 从基于求积的形式推导出新的损失函数。
• 采用纯符号化表述，使训练代码从抽象的 PDE 表述生成。
• 实现 GPU 的利用并在 NeuralPDE 中求解 PDE 的组态。
• 在框架内展示一个复杂的多物理场示例（Doyle-Fuller-Newman 模型）。

实验结果

研究问题

• RQ1 基于求积的表述如何为 PINN 产生具有有界误差容忍度的损失函数？
• RQ2 NeuralPDE 如何通过扩展损失形式支持参数估计和算子发现？
• RQ3 在一组多样化的 PDE 中，不同训练技术的性能权衡是什么？
• RQ4 如何利用符号化、抽象表述自动生成训练代码并实现 GPU 加速的 PDE 求解？

主要发现

• NeuralPDE 产生与数值求积相关联的新的损失函数，使自适应符合误差容忍度。
• 该框架通过扩展损失形式支持参数估计和算子发现。
• 性能分析比较了大规模 PDE 集的训练技术，揭示了权衡取舍。
• 一个复杂的多物理场 PDE，Doyle-Fuller-Newman 模型，可以在 NeuralPDE 中进行表述和求解。