[论文解读] Parameterized Physics-informed Neural Networks for Parameterized PDEs

Woojin Cho, Minju Jo+5 more|arXiv (Cornell University)|Aug 18, 2024

Model Reduction and Neural Networks被引用 5

一句话总结

P2INNs extend PINNs by explicitly encoding PDE parameters into a latent representation, enabling a single model to solve multiple parameterized PDEs with higher accuracy and efficiency, including unseen parameter regimes and challenging failure modes.

ABSTRACT

Complex physical systems are often described by partial differential equations (PDEs) that depend on parameters such as the Reynolds number in fluid mechanics. In applications such as design optimization or uncertainty quantification, solutions of those PDEs need to be evaluated at numerous points in the parameter space. While physics-informed neural networks (PINNs) have emerged as a new strong competitor as a surrogate, their usage in this scenario remains underexplored due to the inherent need for repetitive and time-consuming training. In this paper, we address this problem by proposing a novel extension, parameterized physics-informed neural networks (P$^2$INNs). P$^2$INNs enable modeling the solutions of parameterized PDEs via explicitly encoding a latent representation of PDE parameters. With the extensive empirical evaluation, we demonstrate that P$^2$INNs outperform the baselines both in accuracy and parameter efficiency on benchmark 1D and 2D parameterized PDEs and are also effective in overcoming the known "failure modes".

研究动机与目标

• 动机：为了设计优化和不确定性量化，需要高效求解参数化 PDE。
• 引入一种潜在参数编码机制，用以捕获 PDE 参数效应。
• 开发一种模块化神经网络架构，联合处理坐标与 PDE 参数。
• 在基准 PDE 上展示相较基线的改进准确性和参数效率，并对具有挑战性的失效模式具有鲁棒性。

提出的方法

• 提出一种模块化架构，包含两个编码器（g_theta_p 用于 PDE 参数，g_theta_c 用于时空坐标）以及一个流形网络 g_theta_g，将它们的隐藏表示组合以预测 u_hat(x,t; mu)。
• 通过参数编码器将 PDE 参数编码为隐藏表示 h_param，而不是将 mu 作为原始输入坐标处理。
• 使用 PINN 风格的损失 L = w1 L_u + w2 L_f + w3 L_b 进行训练，其中 L_u 强制满足初始/边界数据，L_f 强制 PDE 残差，通过包含多个 PDE 实例的小批量进行训练。
• 可选地，在快速微调阶段通过分解解码器层并将少量可学习基权重适配到新的 PDE 来应用基于 SVD 的调制。
• 提供一个基线消融（PINN-P），直接输入 (x,t,mu) 而不使用专门的 PDE 参数编码器，以验证设计选择。

实验结果

研究问题

• RQ1 一个神经网络模型是否能够通过在潜在空间中显式编码 PDE 参数来学习多种参数化 PDE 的解？
• RQ2 P2INN 架构是否在基准参数化 PDE 上相对于标准 PINNs 和 seq2seq PINNs 提高了准确性和参数效率？
• RQ3 P2INNs 对未见过的（插值或外推）PDE 参数以及已知的 PINN 失效模式（如高对流或反应项）是否更鲁棒？
• RQ4 基于 SVD 的调制是否能够在极少再训练下对新的 PDE 参数区间实现有效的快速微调？
• RQ5 2D PDEs（如 Helmholtz）是否展示出与 1D 参数化 CDR 方程相同的鲁棒性和准确性提升？

主要发现

PDE 类型	系数	指标	PINN	PINN-R	PINN-seq2seq	P 2 INN	IMP. (%)
Convection	1 ~ 5	Abs. err.	0.0183	0.0222	0.1281	0.0039	78.44
Convection	1 ~ 5	Rel. err.	0.0327	0.0381	0.2160	0.0079	75.82
Convection	1 ~ 10	Abs. err.	0.0164	0.0666	0.1924	0.0093	43.62
Convection	1 ~ 10	Rel. err.	0.0307	0.1195	0.3276	0.0179	41.78

• P2INNs 在六个参数化 CDR 方程上的准确性显著高于 PINN 基线，且相对误差和绝对误差均有大幅降低。
• 单个 P2INN 模型就可以在一次训练中学习多种 PDE 参数配置的解，在大多数情况下优于基线。
• P2INNs 对未见过的 PDE 参数表现出强鲁棒性，在 PINNs 失败的情形下提供准确的插值与外推。
• 基于 SVD 的调制用于快速微调，使对新 PDE 类型在少量训练轮次和小的参数更新下实现有效适应。
• 在二维 Helmholtz 问题中，P2INNs 在已见和未见的系数值上都保持鲁棒性能，优于标准 PINNs。