[论文解读] PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks

Lizhong Zhao, Xueying Ding+1 more|arXiv (Cornell University)|Jul 21, 2023

Model Reduction and Neural Networks被引用 24

一句话总结

PINNsFormer 引入基于 Transformer 的序列到序列框架，具备伪序列生成器和 Wavelet 激活以捕捉 PDE 的时间依赖性，相较传统 PINNs 提高泛化和准确性。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have emerged as a promising deep learning framework for approximating numerical solutions to partial differential equations (PDEs). However, conventional PINNs, relying on multilayer perceptrons (MLP), neglect the crucial temporal dependencies inherent in practical physics systems and thus fail to propagate the initial condition constraints globally and accurately capture the true solutions under various scenarios. In this paper, we introduce a novel Transformer-based framework, termed PINNsFormer, designed to address this limitation. PINNsFormer can accurately approximate PDE solutions by utilizing multi-head attention mechanisms to capture temporal dependencies. PINNsFormer transforms point-wise inputs into pseudo sequences and replaces point-wise PINNs loss with a sequential loss. Additionally, it incorporates a novel activation function, Wavelet, which anticipates Fourier decomposition through deep neural networks. Empirical results demonstrate that PINNsFormer achieves superior generalization ability and accuracy across various scenarios, including PINNs failure modes and high-dimensional PDEs. Moreover, PINNsFormer offers flexibility in integrating existing learning schemes for PINNs, further enhancing its performance.

研究动机与目标

• 动机与解决在求解时间相关的偏微分方程（PDE）时，标准 PINNs 对时间依赖性忽视的问题。
• 提出一种基于 Transformer 的架构（PINNsFormer），以捕捉 PDE 解中的时间依赖性。
• 引入一种新颖的 Wavelet 激活，以提升通用逼近能力和导数估计。
• 展示在对流、反应、波动以及高维 PDEs 的泛化和性能提升，并兼容现有的 PINN 学习方案。

提出的方法

• 通过伪序列生成器将逐点的时空输入转换为伪序列。
• 使用时空混合器在更高维度的空间中对特征进行嵌入和混合。
• 使用带多头注意力的编码器-解码器来学习序列中的依赖关系。
• 引入 Wavelet 激活，以更好地逼近 PDE 解及其导数。
• 采用区分残差、边界和初始条件的顺序 PINN 损失。
• 允许与现有 PINN 学习方案（如 NTK）集成以提升性能。

Figure 1: Architecture of proposed PINNsFormer. PINNsFormer generates a pseudo sequence based on pointwise input features. It outputs the corresponding sequential approximated solution. The first approximation of the sequence is the desired solution $\hat{u}(\bm{x},t)$ .

实验结果

研究问题

• RQ1 基于 Transformer 的模型是否能比传统 PINNs 更好地捕捉 PDE 解中的时间依赖性？
• RQ2 伪序列表示在求解时间相关 PDE 时如何影响准确性和稳定性？
• RQ3 Wavelet 激活对 PINNsFormer 的逼近能力和导数保真度有何影响？
• RQ4 在高维 PDE 以及与其他学习方案（如 NTK）结合时，PINNsFormer 的表现如何？

主要发现

• 在对流和一维反应 PDE 上，PINNsFormer 的训练损失和测试误差低于 PINNs、QRes 和 FLS，减轻了 PINN 的失效模式。
• 在一维波动+NTK 下，PINNsFormer+NTK 在所报告的指标中获得最佳的 rMAE 和 rRMSE。
• 对于二维 Navier–Stokes，PINNsFormer 优于基线，在收敛速度和压力预测的形状/量纲一致性方面表现更好。
• 损失景观分析表明 PINNsFormer 的景观更平滑且李氏常数更小，表明优化更容易。
• 该方法比标准 PINNs 计算量更大，但仍然实用，在 k=5 时成本约为 2.9 倍、内存增加约 2.15 倍。
• PINNsFormer 保持与现有 PINN 学习策略的兼容性，支持灵活的混合方法。

Figure 2: The architecture of PINNsFormer’s Encoder-Decoder Layers. The decoder is not equipped with self-attentions.