[论文解读] POD-DL-ROM: Enhancing deep learning-based reduced order models for nonlinear parametrized PDEs by proper orthogonal decomposition

Stefania Fresca, Andrea Manzoni|arXiv (Cornell University)|Jan 1, 2022

Model Reduction and Neural Networks参考文献 66被引用 241

一句话总结

本文提出POD-DL-ROM，一种结合 Proper Orthogonal Decomposition (POD) 与基于深度学习的降阶模型（DL-ROMs）的混合方法，可大幅加速非线性参数化PDE的DL-ROM离线训练阶段。通过应用随机化POD进行降维以及多保真度预训练，该方法降低了网络复杂度与训练时间，同时保持高精度与在线效率，相较于全阶模型（FOM）实现最高达6.59×10⁵倍的加速。

ABSTRACT

Deep learning-based reduced order models (DL-ROMs) have been recently proposed to overcome common limitations shared by conventional reduced order models (ROMs) – built, e.g., through proper orthogonal decomposition (POD) – when applied to nonlinear time-dependent parametrized partial differential equations (PDEs). These might be related to (i) the need to deal with projections onto high dimensional linear approximating trial manifolds, (ii) expensive hyper-reduction strategies, or (iii) the intrinsic difficulty to handle physical complexity with a linear superimposition of modes. All these aspects are avoided when employing DL-ROMs, which learn in a non-intrusive way both the nonlinear trial manifold and the reduced dynamics, by relying on deep (e.g., feedforward, convolutional, autoencoder) neural networks. Although extremely efficient at testing time, when evaluating the PDE solution for any new testing-parameter instance, DL-ROMs require an expensive training stage, because of the extremely large number of network parameters to be estimated. In this paper we propose a possible way to avoid an expensive training stage of DL-ROMs, by (i) performing a prior dimensionality reduction through POD, and (ii) relying on a multi-fidelity pretraining stage, where different physical models can be efficiently combined. The proposed POD-DL-ROM is tested on several (both scalar and vector, linear and nonlinear) time-dependent parametrized PDEs (such as, e.g., linear advection–diffusion–reaction, nonlinear diffusion–reaction, nonlinear elastodynamics, and Navier–Stokes equations) to show the generality of this approach and its remarkable computational savings.

研究动机与目标

• 解决大规模参数化PDE的基于深度学习的降阶模型（DL-ROMs）训练计算成本过高的问题。
• 克服DL-ROMs中随全阶模型（FOM）维度Nh增加而急剧恶化的维度灾难问题。
• 在不牺牲精度或在线计算速度的前提下提升训练效率。
• 使DL-ROM能够应用于以往因训练成本过高而不可行的高保真度问题（如Navier-Stokes方程）。
• 为非线性时间依赖PDE提供一种稳健、非侵入性且可推广的降阶建模框架。

提出的方法

• 在神经网络训练前，对FOM快照应用随机化POD（rPOD）进行降维，将rPOD视为第一层编码器。
• 使用卷积自编码器（CAE）学习解空间的非线性试验流形，解码器用于重构全阶解。
• 训练深度前馈神经网络（DFNN）以建模广义坐标随时间与参数变化的降阶动力学。
• 实施多保真度预训练策略，利用较低保真度模型（如更粗的网格或简化的物理模型）的参数初始化高保真度网络权重。
• 将离线训练阶段解耦为降维与预训练两个步骤，显著减少从零开始训练的参数数量。
• 在保持DL-ROM非侵入性的同时，融合POD的数学严谨性与计算效率。

实验结果

研究问题

• RQ1 POD-DL-ROM是否能在不增加网络复杂度的前提下降低DL-ROM的离线训练成本？
• RQ2 rPOD与多保真度预训练的结合如何影响最终ROM的精度与收敛性？
• RQ3 POD-DL-ROM在保持快速在线评估的前提下，能在多大程度上处理高维FOM（如Nh > 10⁵）？
• RQ4 POD-DL-ROM能否准确捕捉流体动力学中的复杂物理现象（如涡脱落）？
• RQ5 在精度、训练时间与在线加速比方面，POD-DL-ROM相较于标准POD-Galerkin ROM与标准DL-ROM的性能表现如何？

主要发现

• 对于Nh = 64,892的Navier-Stokes问题，POD-DL-ROM在V100 GPU上将离线训练时间缩短至50分钟，远低于标准DL-ROM的训练时间。
• 测试阶段每参数实例仅需0.1秒，相较于全阶模型实现2.15×10⁵倍的加速。
• 对于更高保真度问题（Nh = 257,528），多保真度预训练仅用10分钟即达到1.4×10⁻²的相对误差，展现出良好的可扩展性。
• POD-DL-ROM准确捕捉了Re = 117时的涡脱落现象以及Re = 70时涡脱落的缺失，速度场的相对误差低于1.5%。
• 出口边界处的流量预测与FOM高度一致，最大相对误差仅为1.65%，验证了对关键输出量的保真度。
• 在高保真度案例中，POD-DL-ROM在测试阶段实现了6.59×10⁵倍的加速，支持实时或超实时模拟。