[论文解读] Sequence to sequence AE-ConvLSTM network for modelling the dynamics of PDE systems

Priyesh Rajesh Kakka|arXiv (Cornell University)|Aug 15, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种基于自编码器的序列到序列卷积LSTM网络（AE-ConvLSTM），通过在编码器-解码器模块间传递隐藏状态，提升了由偏微分方程（PDE）控制的动力系统长期预测能力。在数据上进行训练后，该方法成功预测了非定常二维黏性Burgers方程和Navier-Stokes方程流场的100个时间步；然而，仅使用物理约束（无数据）进行训练时，无法捕捉长期动力学，特别是在Navier-Stokes方程中压力与速度等多尺度耦合场的演化中表现不佳。

ABSTRACT

The article explains the convolutional LSTM (ConvLSTM) network in detail and introduces an improved auto-encoder version of the ConvLSTM network called AE-ConvLSTM. AE-ConvLSTM is also a sequence to sequence network that can predict long time evolution of a dynamical system by passing hidden states from one encoder to another. The network performed well in predicting the dynamic evolution of unsteady 2-D viscous Burgers when trained using data and, in another case, using governing equation (without data), i.e., physics-constrained. Further, AE-ConvLSTM was used in an effort to predict the time evolution of two unsteady Navier-Stokes problems. These problems have coupled pressure and velocity field having different magnitude order, and these fields evolve in time at a different rate. It was observed that the network could be trained using data, but while training using physics-constrained via governing equations, AE-ConvLSTM fails to train for time evolution.

研究动机与目标

• 开发一种深度学习代理模型，能够预测由非线性PDE控制的动力系统的长期时间演化。
• 解决标准ConvLSTM和自回归RNN在捕捉长序列时因梯度消失和计算成本过高带来的局限性。
• 评估AE-ConvLSTM在两种训练范式下的性能：数据驱动和物理约束（仅基于控制方程）。
• 探究对复杂耦合PDE系统（如具有多尺度时间演化的非定常Navier-Stokes方程）实施物理约束训练的可行性。
• 识别物理约束训练中的失败模式，特别是针对不同速率演化的场（如Navier-Stokes方程中的速度与压力）系统。

提出的方法

• 提出一种基于ConvLSTM的序列到序列自编码器架构，其中编码器将输入序列压缩为潜在状态，解码器则重建长期未来状态。
• 在连续的编码器-解码器模块之间引入隐藏状态传递机制，实现在单次前向传播中预测长达100个时间步的序列，从而缓解梯度消失问题。
• 采用双流损失函数：对Navier-Stokes方程使用涡度场和流函数场的MSE损失，以及强制满足不可压缩性条件（∇·u = 0）的残差损失。
• 通过计算控制方程（如黏性Burgers方程、Navier-Stokes方程的涡度-速度形式）的残差作为损失，实现物理约束训练。
• 在物理约束训练过程中，使用有限差分法离散化PDE残差（如 ∂tω + u·∇ω = νΔω + f）并将其纳入损失函数。
• 使用Adam优化器配合学习率调度进行网络训练，并通过预测场与目标场之间的MSE和L1误差评估性能。

实验结果

研究问题

• RQ1 AE-ConvLSTM能否在预测PDE系统长期演化方面优于标准ConvLSTM，特别是在预测100个时间步时？
• RQ2 仅使用控制方程作为损失（无任何数据）的物理约束训练，能否实现对二维黏性Burgers方程的准确长期预测？
• RQ3 为何物理约束训练在非定常Navier-Stokes问题中失败，尽管其在Burgers方程上取得了成功？
• RQ4 多尺度时间演化（如速度与压力以不同速率演化）如何影响物理约束AE-ConvLSTM的训练？
• RQ5 当仅通过PDE残差进行训练时，AE-ConvLSTM架构能否有效学习Navier-Stokes系统中复杂耦合场动力学（如涡度与速度）？

主要发现

• 在数据训练下，AE-ConvLSTM在预测长序列方面优于标准ConvLSTM，成功预测了二维黏性Burgers方程100个时间步的演化。
• 在仅使用控制方程作为损失（未使用真实数据）的物理约束训练下，AE-ConvLSTM成功预测了二维黏性Burgers方程100个时间步的演化，训练过程仅到35个时间步。
• 在顶盖驱动腔流Navier-Stokes问题中，数据驱动训练在50个时间步内对速度场和涡度场的预测表现优异。
• 顶盖驱动腔流的物理约束训练未能捕捉长期动力学，尽管初始残差准确，但预测在数个时间步后即发散。
• 在周期性涡度形式的Navier-Stokes方程中，物理约束训练仅能准确捕捉前几个时间步，随后精度迅速下降，表明多尺度场演化存在不稳定性。
• 物理约束训练失败的原因在于优化过程陷入局部极小值，以及同时学习不同时间演化速率的场（如Navier-Stokes方程中的速度与压力）带来的挑战。