[论文解读] Reduced-order Deep Learning for Flow Dynamics

Min Wang, Siu Wun Cheung+4 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Mathematical Modeling in Engineering参考文献 32被引用 6

一句话总结

该论文提出了一种基于深度神经网络的模型降阶方法，用于多尺度流动动力学，采用非局部多连续介质（NLMC）尺度化方法。通过使用软阈值激活函数训练多层网络来学习粗网格解的输入-输出映射，该方法能够捕捉主导的多尺度特征，并通过稀疏、自适应的模式选择实现高效的时间推进，所有测试案例的平均预测误差均低于10%。

ABSTRACT

In this paper, we investigate neural networks applied to multiscale simulations and discuss a design of a novel deep neural network model reduction approach for multiscale problems. Due to the multiscale nature of the medium, the fine-grid resolution gives rise to a huge number of degrees of freedom. In practice, low-order models are derived to reduce the computational cost. In our paper, we use a non-local multicontinuum (NLMC) approach, which represents the solution on a coarse grid [18]. Using multi-layer learning techniques, we formulate and learn input-output maps constructed with NLMC on a coarse grid. We study the features of the coarse-grid solutions that neural networks capture via relating the input-output optimization to $l_1$ minimization of PDE solutions. In proposed multi-layer networks, we can learn the forward operators in a reduced way without computing them as in POD like approaches. We present soft thresholding operators as activation function, which our studies show to have some advantages. With these activation functions, the neural network identifies and selects important multiscale features which are crucial in modeling the underlying flow. Using trained neural network approximation of the input-output map, we construct a reduced-order model for the solution approximation. We use multi-layer networks for the time stepping and reduced-order modeling, where at each time step the appropriate important modes are selected. For a class of nonlinear problems, we suggest an efficient strategy. Numerical examples are presented to examine the performance of our method.

研究动机与目标

• 通过开发一种模型降阶框架，解决多尺度流动问题中细网格模拟的高计算成本问题。
• 通过集成深度学习以学习复杂输入-输出映射，克服传统模型降阶技术的局限性，无需显式计算算子。
• 通过神经网络训练实现在每个时间步自适应选择重要多尺度模式。
• 开发一种可推广的、数据驱动的降阶模型基底，能够捕捉多样化多尺度配置中的主导特征。
• 通过利用与ℓ₁最小化相关的软阈值网络，提升非线性流动问题的预测精度。

提出的方法

• 采用非局部多连续介质（NLMC）尺度化方法，将细尺度解投影到粗网格上，以减少自由度。
• 将粗网格解的演化表述为连续时间步之间的输入-输出映射。
• 训练多层神经网络，利用NLMC解作为训练数据，学习输入-输出映射。
• 在网络中使用软阈值激活函数，其与ℓ₁最小化具有解析关联，可促进所学模式的稀疏性。
• 将训练好的网络集成到时间推进格式中，使网络在每个时间步自适应选择相关的多尺度特征。
• 在不同数据簇（例如，不同的裂缝构型）上分别训练网络，并与混合数据网络进行性能比较，以评估泛化性和鲁棒性。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习多尺度流动问题中粗网格解之间的输入-输出映射？
• RQ2 神经网络中的软阈值激活函数与ℓ₁最小化有何关联？其在捕捉多尺度特征方面具有哪些优势？
• RQ3 神经网络在不显式计算降阶基底的情况下，能在多大程度上识别并选择主导多尺度模式？
• RQ4 与基于特定簇数据的训练相比，使用来自多个物理构型的混合数据进行训练，对预测精度有何影响？
• RQ5 所提出的方法能否在计算成本极低的前提下，实现对非线性流动问题的高精度模型降阶？

主要发现

• 所提出的多层神经网络在所有测试样本的时间步上均实现了低于10%的平均预测误差，证明了其强大的预测精度。
• 对于 $ n = 0,1,...,8 $，系数 $ U^{n+1,W_{n}^{2}} $ 在所学基系 $ W^{2}_{n} $ 中表现出稀疏性，证实了网络识别相关模式的能力。
• 在特定簇数据上，$ \tfrac{1}{10} \text{NN}_1 $ 的平均预测误差为7.45%，而混合数据网络 $ \text{NN}_{\text{mixed}} $ 的误差显著升高至36.64%，表明当簇之间差异明显时，混合训练会降低性能。
• 软阈值网络结构与ℓ₁最小化之间表现出强烈的解析与实证关联，实现了有效的稀疏性促进特征选择。
• 该方法成功以降阶方式学习了前向算子，避免了如POD方法中需要显式计算算子的步骤。
• 该框架通过在每个时间步动态选择重要模式，实现了高效的时序推进，显著提升了非线性问题的计算效率。