[论文解读] Respecting causality is all you need for training physics-informed neural networks

Sifan Wang, Shyam Sankaran+1 more|arXiv (Cornell University)|Mar 14, 2022

Model Reduction and Neural Networks被引用 117

一句话总结

这篇论文提出了一种尊重因果关系的PINN损失重新表述，在训练过程中强制时间因果性，从而实现对混沌和湍动PDE的准确模拟，并在具有挑战性的基准上达到最先进的结果。

ABSTRACT

While the popularity of physics-informed neural networks (PINNs) is steadily rising, to this date PINNs have not been successful in simulating dynamical systems whose solution exhibits multi-scale, chaotic or turbulent behavior. In this work we attribute this shortcoming to the inability of existing PINNs formulations to respect the spatio-temporal causal structure that is inherent to the evolution of physical systems. We argue that this is a fundamental limitation and a key source of error that can ultimately steer PINN models to converge towards erroneous solutions. We address this pathology by proposing a simple re-formulation of PINNs loss functions that can explicitly account for physical causality during model training. We demonstrate that this simple modification alone is enough to introduce significant accuracy improvements, as well as a practical quantitative mechanism for assessing the convergence of a PINNs model. We provide state-of-the-art numerical results across a series of benchmarks for which existing PINNs formulations fail, including the chaotic Lorenz system, the Kuramoto-Sivashinsky equation in the chaotic regime, and the Navier-Stokes equations in the turbulent regime. To the best of our knowledge, this is the first time that PINNs have been successful in simulating such systems, introducing new opportunities for their applicability to problems of industrial complexity.

研究动机与目标

• 识别标准连续时间PINN在多尺度、混沌或湍动动力学中遇到困难的原因。
• 提出一种简单的损失重新表述，在训练过程中强制物理因果性。
• 展示改进的准确性并提供PINN的实用收敛准则。
• 在具有挑战性的基准测试（如 Lorenz、Kuramoto–Sivashinsky、Navier–Stokes）上展示最先进的结果。
• 讨论提升PINN性能与效率的实际考虑。

提出的方法

• 将加权残差损失公式化，通过为时间步分配依赖于先前残差的权重来强制因果性，w_i = exp(-epsilon * sum_{k=1}^{i-1} L_r(t_k, theta)).
• 将加权残差并入 PINN 目标，使得后期时间的残差仅在前期时间残差收敛后才被最小化。
• 提供对因果性参数 epsilon 的退火策略以稳定训练。
• 给出基于时间权重 w_i 收敛的停止准则（例如 min_i w_i > delta）。
• 与标准 PINN 损失和时间推进/序列策略进行比较，突出因果训练的额外价值。

实验结果

研究问题

• RQ1 能否在 PINN 训练中强制时间因果性以提高非线性、多尺度或混沌PDE的稳定性与精度？
• RQ2 因果训练形式与现有的PINN增强（自适应采样、自注意力、时间推进）在基准问题上的对比如何？
• RQ3 有效的收敛准则和超参数（epsilon、delta）是什么？
• RQ4 因果训练是否在 Lorenz、Kuramoto–Sivashinsky、Navier–Stokes 等混沌和湍动PDE上达到最先进的结果？
• RQ5 哪些可选的架构和计算增强可以进一步提升因果PINN？

主要发现

• 因果训练在具有挑战性的问题上相对于传统 PINN 取得了显著的精度提升。
• 对于 Allen-Cahn，使用简单 MLP 的因果训练实现相对 L2 误差 1.43e-03，优于先前方法约 10–100 倍。
• 使用修改后的 MLP 的因果训练进一步提升至相对 L2 误差 1.39e-04。
• 在各基准上，所提出的方法能捕捉到标准 PINN 无法捕捉的动力学（混沌的 Lorenz、混沌的 Kuramoto–Sivashinsky、湍流的 Navier–Stokes）。
• 基于时间权重收敛的实用停止准则可带来更快的训练和更好的预测。