[论文解读] TSONN: Time-stepping-oriented neural network for solving partial differential equations

Wenbo Cao, Weiwei Zhang|arXiv (Cornell University)|Oct 25, 2023

Model Reduction and Neural Networks被引用 7

一句话总结

TSONN 提出一种面向时间推进的神经网络，将PDE求解重新表述为在伪时间区间上的良好条件子问题序列，从而在标准PINNs基础上提升了训练稳定性和精度。通过将时间推进与深度学习相结合，它在PINNs失效的难题上实现了稳健收敛，仅需对损失函数进行简单修改。

ABSTRACT

Deep neural networks (DNNs), especially physics-informed neural networks (PINNs), have recently become a new popular method for solving forward and inverse problems governed by partial differential equations (PDEs). However, these methods still face challenges in achieving stable training and obtaining correct results in many problems, since minimizing PDE residuals with PDE-based soft constraint make the problem ill-conditioned. Different from all existing methods that directly minimize PDE residuals, this work integrates time-stepping method with deep learning, and transforms the original ill-conditioned optimization problem into a series of well-conditioned sub-problems over given pseudo time intervals. The convergence of model training is significantly improved by following the trajectory of the pseudo time-stepping process, yielding a robust optimization-based PDE solver. Our results show that the proposed method achieves stable training and correct results in many problems that standard PINNs fail to solve, requiring only a simple modification on the loss function. In addition, we demonstrate several novel properties and advantages of time-stepping methods within the framework of neural network-based optimization approach, in comparison to traditional grid-based numerical method. Specifically, explicit scheme allows significantly larger time step, while implicit scheme can be implemented as straightforwardly as explicit scheme.

研究动机与目标

• 为解决物理信息神经网络（PINNs）在求解PDE时因PDE残差最小化导致的病态优化而引发的不稳定与收敛性差的问题。
• 提升正向与反向PDE问题的训练鲁棒性与解的精度。
• 将时间推进方法整合进深度学习框架以求解PDE，将病态问题转化为一系列良好条件的子问题。
• 证明在神经网络优化中采用时间推进相较于传统网格化方法具有优势，包括显式格式中可采用更大的时间步长，以及隐式格式的简便实现。

提出的方法

• 该方法将PDE求解任务重新表述为在离散伪时间区间上的优化子问题序列，模仿时间积分过程。
• 它利用时间推进框架，将原始的病态PDE残差最小化问题分解为一系列良好条件的子问题。
• 损失函数被修改，以在每个伪时间步强制满足PDE残差，从而实现沿时间推进轨迹的稳定梯度传播。
• 显式时间推进格式可在不引发稳定性问题的前提下采用更大的时间步长，而隐式格式则以极低的复杂度实现。
• 该方法保持了标准神经网络的结构，但重新组织了训练动力学，使其沿伪时间演化路径进行。
• 该方法兼容正向与反向PDE问题，且除损失函数适配外无需任何网络架构修改。

实验结果

研究问题

• RQ1 时间推进能否有效集成到深度学习中用于PDE求解，以提升训练稳定性？
• RQ2 将PDE残差最小化转化为伪时间区间上的子问题序列，是否能带来优于直接残差最小化的收敛性能？
• RQ3 在神经网络训练中，显式时间推进格式是否如经典方法一样，允许采用更大的时间步长而不引发不稳定？
• RQ4 在神经网络框架中，隐式时间推进格式是否能像显式格式一样实现得同样简便？
• RQ5 与传统基于网格的数值方法相比，所提出的面向时间推进的神经网络在精度与效率方面表现如何？

主要发现

• TSONN 在标准PINNs无法收敛或产生不准确结果的PDE问题上实现了稳定训练与正确解。
• 该方法通过将病态优化转化为伪时间区间上的良好条件子问题序列，显著提升了收敛性。
• TSONN中的显式时间推进格式可在不损害稳定性的前提下采用更大的时间步长，与经典数值方法的优势一致。
• 在神经网络框架中，隐式时间推进格式的实现复杂度与显式格式相当。
• 该方法仅需对损失函数进行简单修改，因此可轻松适配至现有PINN实现。
• TSONN在求解具有高条件数的正向与反向PDE问题时表现出更优的鲁棒性，尤其在挑战性场景下。