[论文解读] On the use of recurrent neural networks for predictions of turbulent flows

Luca Guastoni, Prem A. Srinivasan+3 more|arXiv (Cornell University)|Feb 4, 2020

Model Reduction and Neural Networks参考文献 13被引用 12

一句话总结

本文评估了循环神经网络，特别是长短期记忆（LSTM）网络，在预测近壁湍流低阶模型时间动力学方面的表现。在雷诺数为400的简化九模态系统中，LSTM在平均速度和脉动速度统计量上的相对误差低于1%，优于多层感知机（MLP）和门控循环单元（GRU），尤其当损失函数中引入统计度量以提升训练效率和泛化能力时表现更优。

ABSTRACT

In this paper, the prediction capabilities of recurrent neural networks are assessed in the low-order model of near-wall turbulence by Moehlis {\it et al.} (New J. Phys. {\bf 6}, 56, 2004). Our results show that it is possible to obtain excellent predictions of the turbulence statistics and the dynamic behavior of the flow with properly trained long short-term memory (LSTM) networks, leading to relative errors in the mean and the fluctuations below $1\%$. We also observe that using a loss function based only on the instantaneous predictions of the flow may not lead to the best predictions in terms of turbulence statistics, and it is necessary to define a stopping criterion based on the computed statistics. Furthermore, more sophisticated loss functions, including not only the instantaneous predictions but also the averaged behavior of the flow, may lead to much faster neural network training.

研究动机与目标

• 评估使用循环神经网络（RNN）预测湍流剪切流时间动力学的可行性。
• 评估LSTM网络是否能准确再现低阶模型中的湍流统计量及动力学特征（如庞加莱截面和李雅普诺夫指数）。
• 研究不同损失函数（特别是包含统计平均的损失函数）对训练效率和预测精度的影响。
• 比较LSTM与门控循环单元（GRU）在有限训练数据下捕捉湍流流体统计量的表现。
• 确定最优超参数（包括时间步长和网络架构），以实现稳健且精确的预测。

提出的方法

• 采用基于纳维-斯托克斯方程伽辽金投影得到的九空间模态近壁湍流低阶模型，生成九个耦合的常微分方程组。
• 生成超过10,000条时间序列，每条长度为4,000个时间单位，用于训练和验证，确保湍流统计量的统计收敛性。
• 使用过去模态振幅序列作为输入，训练长短期记忆（LSTM）网络以预测九个模态振幅的时间演化。
• 损失函数设计同时包含瞬时预测误差和速度场的统计度量（均值与方差），训练依据统计误差阈值停止。
• 作为对比，评估了其他架构，包括多层感知机（MLP）和门控循环单元（GRU）。
• 使用TensorFlow实现模型，训练在CPU上进行，超参数经调优以实现最佳性能。

实验结果

研究问题

• RQ1 LSTM网络能否准确预测近壁湍流低阶模型的时间动力学和湍流统计量？
• RQ2 使用包含流场统计平均（如均值与方差）的损失函数，是否能实现比标准瞬时预测损失更快的收敛速度和更好的泛化能力？
• RQ3 在预测湍流统计量和动力学特征（如庞加莱截面与李雅普诺夫指数）方面，LSTM与GRU及MLP相比表现如何？
• RQ4 为最小化湍流统计量的预测误差，最优时间步长和网络架构（如层数、单元数、序列长度）为何种配置？
• RQ5 当使用先进损失函数和架构选择时，小规模训练数据集（如100条时间序列）能否产生可靠的预测？

主要发现

• 采用同时包含瞬时预测与流场统计平均的损失函数训练的LSTM网络，在平均速度上的相对误差为0.26%，在速度脉动上的相对误差为0.59%。
• 表现最佳的LSTM配置（LSTM1–1–100）在平均速度和速度脉动统计量上的误差均低于1%，显著优于MLP（误差分别为3.21%和18.61%）和GRU。
• 仅基于瞬时预测的损失函数训练会导致统计精度较差；因此，基于统计误差度量的停止准则对实现最优性能至关重要。
• 包含流场行为统计特性的更复杂损失函数可加速训练并提升泛化能力，即使在数据有限的情况下亦然。
• 尽管GRU参数更少且计算成本相近，但其统计误差显著更高，并在小数据集下表现出非物理解释行为，因此在此任务中不如LSTM适用。
• 网络性能的最优时间步长为Δt = 1，时间步长增大将降低预测精度。