[论文解读] Non-intrusive Surrogate Modeling for Parametrized Time-dependent PDEs using Convolutional Autoencoders

Stefanos Nikolopoulos, Ioannis Kalogeris+1 more|arXiv (Cornell University)|Jan 14, 2021

Probabilistic and Robust Engineering Design参考文献 49被引用 9

一句话总结

本文提出了一种基于卷积自编码器（CAE）和前馈神经网络（FFNN）的非侵入式代理建模框架，用于参数化时间依赖偏微分方程（PDEs）。该方法通过CAE编码器将高保真有限元法（FEM）解矩阵压缩至低维潜在空间，训练FFNN将参数输入映射至潜在表示，并通过CAE解码器重构完整解——在蒙特卡洛模拟中实现了81倍的速度提升，且精度较高。

ABSTRACT

This work presents a non-intrusive surrogate modeling scheme based on machine learning technology for predictive modeling of complex systems, described by parametrized time-dependent PDEs. For these problems, typical finite element approaches involve the spatiotemporal discretization of the PDE and the solution of the corresponding linear system of equations at each time step. Instead, the proposed method utilizes a convolutional autoencoder in conjunction with a feed forward neural network to establish a low-cost and accurate mapping from the problem's parametric space to its solution space. For this purpose, time history response data are collected by solving the high-fidelity model via FEM for a reduced set of parameter values. Then, by applying the convolutional autoencoder to this data set, a low-dimensional representation of the high-dimensional solution matrices is provided by the encoder, while the reconstruction map is obtained by the decoder. Using the latent representation given by the encoder, a feed-forward neural network is efficiently trained to map points from the problem's parametric space to the compressed version of the respective solution matrices. This way, the encoded response of the system at new parameter values is given by the neural network, while the entire response is delivered by the decoder. This approach effectively bypasses the need to serially formulate and solve the system's governing equations at each time increment, thus resulting in a significant cost reduction and rendering the method ideal for problems requiring repeated model evaluations or 'real-time' computations. The elaborated methodology is demonstrated on the stochastic analysis of time-dependent PDEs solved with the Monte Carlo method, however, it can be straightforwardly applied to other similar-type problems, such as sensitivity analysis, design optimization, etc.

研究动机与目标

• 解决在不确定性量化与优化等应用中，参数化时间依赖PDEs重复模拟带来的高计算成本问题。
• 克服内嵌式降基方法在非线性、非仿射问题中因需重复重新投影而带来的局限性。
• 开发一种数据驱动的非侵入式代理模型，避免在每个时间步或参数值下求解PDE。
• 通过用快速神经网络推理替代全阶FEM求解，实现实时或高吞吐量模拟。
• 通过大规模样本数的蒙特卡洛模拟，验证该方法在随机PDEs上的有效性。

提出的方法

• 从一组减少的参数值下获取高保真FEM模拟的时间历史解矩阵。
• 训练卷积自编码器（CAE）通过其编码器将高维解矩阵压缩至低维潜在空间。
• 利用CAE的解码器从潜在表示中重构原始解矩阵。
• 训练前馈神经网络（FFNN）将参数输入直接映射至解的潜在空间表示。
• 将FFNN与CAE解码器组合，实现无需求解PDE即可生成完整解矩阵，从而实现无求解推理。
• 利用GPU加速训练与CPU推理，实现在线计算成本极低。

实验结果

研究问题

• RQ1 非侵入式、数据驱动的代理模型能否在大幅降低计算成本的同时，对参数化时间依赖PDEs实现高精度？
• RQ2 卷积自编码器在有限FEM快照下，对时空解矩阵的压缩与重构能力如何？
• RQ3 FFNN从参数到潜在空间的映射在多大程度上能够实现对完整解轨迹的精确、快速重构？
• RQ4 在扩展至大规模蒙特卡洛模拟时，该代理模型的加速比与精度之间的权衡如何？
• RQ5 该方法能否有效应用于需要数万个模型评估的随机PDEs？

主要发现

• 与全阶FEM相比，该代理模型在3,000次蒙特卡洛模拟中实现了×81.23的计算加速。
• 对于500,000次蒙特卡洛模拟，FEM预计需约122天，而代理模型仅用40.7小时完成，加速比达×81.10。
• 使用500组初始训练样本时，解矩阵的平均相对误差约为0.03，且随着数据量增加，误差收敛。
• 方法的精度随潜在向量维度的提高而提升，表明表示能力的重要性。
• 离线训练成本（16,521秒）显著低于3,000次模拟的全阶FEM成本（63,360秒），表明具有优异的可扩展性。
• 该方法使时间演化位移概率密度函数的计算在500,000次模拟下成为可行，而仅用FEM则难以实现。