[论文解读] Recurrent neural networks and Koopman-based frameworks for temporal predictions in turbulence.

Hamidreza Eivazi, Luca Guastoni+3 more|arXiv (Cornell University)|May 1, 2020

Model Reduction and Neural Networks参考文献 45被引用 5

一句话总结

本文评估了长短期记忆（LSTM）网络和一种基于Koopman的新型非线性强迫框架（KNF），用于预测低阶近壁湍流模型中的湍流动力学。两种方法在平均值和脉动统计量上的相对误差均低于1%，KNF在短期预测精度和计算成本方面表现更优，而基于统计量的损失函数通过避免对瞬时预测的过拟合，提升了泛化能力。

ABSTRACT

The prediction capabilities of recurrent neural networks and Koopman-based frameworks are assessed in the low-order model of near-wall turbulence by Moehlis et al. (New J. Phys. 6, 56, 2004). Our results show that it is possible to obtain excellent predictions of the turbulence statistics and the dynamic behavior of the flow with properly trained long-short-term memory (LSTM) networks, leading to relative errors in the mean and the fluctuations below $1\%$. Besides, a newly developed Koopman-based framework, called Koopman with nonlinear forcing (KNF), leads to the same level of accuracy in the statistics at a significantly lower computational expense. Furthermore, the KNF framework outperforms the LSTM network when it comes to short-term predictions. We also observe that using a loss function based only on the instantaneous predictions of the flow can lead to suboptimal predictions in terms of turbulence statistics. Thus, we propose a stopping criterion based on the computed statistics which effectively avoids overfitting to instantaneous predictions at the cost of deteriorated statistics. This suggests that a new loss function, including the averaged behavior of the flow as well as the instantaneous predictions, may lead to an improved generalization ability of the network.

研究动机与目标

• 评估循环神经网络与基于Koopman的框架在建模低阶湍流动力学方面的预测性能。
• 比较LSTM网络与新提出的Koopman非线性强迫（KNF）框架在准确性与计算效率方面的表现。
• 探究仅基于瞬时预测的损失函数是否会导致湍流统计量的次优表现。
• 基于统计度量开发一种停止准则，以防止对瞬态流动状态的过拟合。
• 探索结合瞬时与平均流动行为的混合损失函数在提升泛化能力方面的潜力。

提出的方法

• 采用长短期记忆（LSTM）网络，从低阶湍流模型的时间序列数据中学习时间动力学。
• 开发了一种基于Koopman的框架，引入非线性强迫（KNF），通过非线性强迫项扩展线性Koopman算子理论，以捕捉非线性动力学。
• 使用基于瞬时预测误差的标准损失函数训练两种模型，以评估基线性能。
• 引入一种基于统计量的停止准则，在训练过程中监控平均值与脉动统计量，当统计精度趋于平稳时停止训练。
• 提出一种改进的损失函数，同时包含瞬时预测与长期统计行为，以提升泛化能力。
• 采用定量指标评估模型性能：平均值与均方根脉动的相对误差，以及短期预测精度。

实验结果

研究问题

• RQ1 LSTM网络是否能在低阶湍流模型中实现对湍流统计量与动态行为的高精度预测？
• RQ2 所提出的Koopman非线性强迫（KNF）框架在预测湍流统计量与短期动力学方面是否能与LSTM性能相当或更优？
• RQ3 仅基于瞬时预测的损失函数在多大程度上会损害湍流统计量的准确性？
• RQ4 基于统计量的停止准则是否能有效防止对瞬态流动特征的过拟合，同时不降低长期统计精度？
• RQ5 结合瞬时与平均流动行为的混合损失函数是否能提升模型的泛化能力？

主要发现

• LSTM网络在湍流模型的平均值与脉动统计量上的相对误差均低于1%，表现出极佳的预测精度。
• KNF框架在统计精度上与LSTM相当，但计算成本显著更低，表现出更高的效率。
• KNF在短期预测精度上优于LSTM，表明其在瞬态行为的时间动力学建模方面更具优势。
• 仅基于瞬时预测的损失函数会导致统计性能次优，表明存在对瞬态流动状态过拟合的风险。
• 基于计算湍流统计量的停止准则能有效防止对瞬时预测的过拟合，同时保持统计保真度。
• 结果表明，结合瞬时与平均流动行为的混合损失函数可能增强泛化能力，为构建更鲁棒的预测模型提供了可行路径。