[论文解读] Neural-PDE: A RNN based neural network for solving time dependent PDEs

Yihao Hu, Tong Zhao+3 more|arXiv (Cornell University)|Sep 8, 2020

Model Reduction and Neural Networks被引用 6

一句话总结

Neural-PDE 提出了一种基于双向LSTM的序列到序列RNN框架，无需事先了解底层方程，即可从数据中学习并预测时变PDE的解。该方法在极低训练量（少于20个周期）下，实现了对复杂、非线性且耦合的PDE系统（如Cahn-Hilliard-Navier-Stokes模型）的高精度预测，并通过在时间步之间共享参数，显著降低了参数复杂度。

ABSTRACT

Partial differential equations (PDEs) play a crucial role in studying a vast number of problems in science and engineering. Numerically solving nonlinear and/or high-dimensional PDEs is often a challenging task. Inspired by the traditional finite difference and finite elements methods and emerging advancements in machine learning, we propose a sequence deep learning framework called Neural-PDE, which allows to automatically learn governing rules of any time-dependent PDE system from existing data by using a bidirectional LSTM encoder, and predict the next n time steps data. One critical feature of our proposed framework is that the Neural-PDE is able to simultaneously learn and simulate the multiscale variables.We test the Neural-PDE by a range of examples from one-dimensional PDEs to a high-dimensional and nonlinear complex fluids model. The results show that the Neural-PDE is capable of learning the initial conditions, boundary conditions and differential operators without the knowledge of the specific form of a PDE system.In our experiments the Neural-PDE can efficiently extract the dynamics within 20 epochs training, and produces accurate predictions. Furthermore, unlike the traditional machine learning approaches in learning PDE such as CNN and MLP which require vast parameters for model precision, Neural-PDE shares parameters across all time steps, thus considerably reduces the computational complexity and leads to a fast learning algorithm.

研究动机与目标

• 开发一种深度学习框架，直接从数据中学习时变PDE的控制动力学，而无需明确知晓PDE的形式。
• 解决传统数值方法难以处理的高维、非线性且耦合的PDE系统挑战。
• 通过在时间步之间共享参数，降低模型复杂度并提高训练效率，与标准深度学习模型随深度和宽度增加而扩展的方式不同。
• 通过端到端的序列到序列学习，同时学习并预测PDE系统中的所有变量（包括初始条件和边界条件）。
• 实现对具有不连续或多尺度特征的PDE（如复杂流体中的相场模型）的高精度模拟。

提出的方法

• 采用序列到序列（Seq2Seq）架构，使用双向LSTM编码器处理来自PDE模拟的时间-空间数据序列。
• 利用双向LSTM的隐藏状态编码每个时间步的完整时空状态，实现长期依赖关系的学习。
• 应用解码器LSTM预测接下来的 $ n $ 个时间步的解，通过在时间步之间共享权重，降低参数数量和计算成本。
• 对动态范围较大的变量（如压力 $ p \times 10^5 $）使用Sigmoid函数进行归一化，以提升训练稳定性和特征提取能力。
• 在由高保真数值求解器（如使用Crank-Nicolson FEM的FreeFem++）生成的时间序列数据上，以监督方式训练模型。
• 利用RNN固有的时间步进特性，模拟传统数值格式（如前向欧拉法、Crank-Nicolson法），使网络能够隐式学习底层PDE算子。

实验结果

研究问题

• RQ1 深度学习模型是否能在不了解方程形式的前提下，学习时变PDE的控制动力学？
• RQ2 循环神经网络架构是否能有效捕捉多维空间中PDE解的长期时间依赖关系？
• RQ3 在基于RNN的框架中，时间步之间的参数共享如何影响模型效率与预测精度，相较于全连接或卷积网络？
• RQ4 该模型是否能同时学习并预测复杂流体系统中具有不同尺度的多个耦合变量（如速度、压力、相场）？
• RQ5 该模型在具有不连续解或高非线性的PDE（如Cahn-Hilliard-Navier-Stokes系统）上的泛化能力如何？

主要发现

• Neural-PDE 成功学习并预测了1D及多维PDE的解，包括高度非线性的Cahn-Hilliard-Navier-Stokes系统，且精度极高。
• 在复杂流体测试案例中，该模型在压力和相场变量上的均方误差（MSE）达到 $ 6.1631 \times 10^{-7} $，表明与精确解高度一致。
• 训练在20个周期内收敛，表明即使面对复杂PDE系统，仍具备快速学习能力。
• 通过Sigmoid归一化有效处理了量级差异巨大的变量（如 $ \rho \times 10^{-5} $），提升了训练稳定性。
• 与基于标准MLP或CNN的PDE求解器相比，时间步之间的参数共享显著降低了模型复杂度和计算成本。
• 该模型能泛化至连续和不连续解，并能从数据中隐式推断初始条件和边界条件。