[论文解读] Turbulence closure modeling with data-driven techniques: Investigation of generalizable deep neural networks

Salar Taghizadeh, Freddie Witherden+2 more|arXiv (Cornell University)|Feb 2, 2021

Model Reduction and Neural Networks参考文献 114被引用 26

一句话总结

本研究通过简化的代理物理湍流模型，探究全连接深度神经网络（DNN）在RANS层级湍流闭合建模中的泛化能力。尽管经过大量超参数调优，DNN仍需远多于真实模型的参数才能达到可接受的精度，且在外推情况下性能急剧下降——尤其当存在非线性和分岔时，凸显了数据驱动RANS模型在实际应用中的根本性挑战。

ABSTRACT

Generalizability of machine-learning (ML) based turbulence closures to accurately predict unseen practical flows remains an important challenge. At the Reynolds-averaged Navier-Stokes (RANS) level, NN-based turbulence closure modeling is rendered difficult due to two important reasons: inherent complexity of the constitutive relation arising from flow-dependent non-linearity and bifurcations; and, inordinate difficulty in obtaining high-fidelity data covering the entire parameter space of interest. In this context, the objective of the work is to investigate the approximation capabilities of standard moderate-sized fully-connected NNs. We seek to systematically investigate the effects of: (i) intrinsic complexity of the solution manifold; (ii) sampling procedure (interpolation vs. extrapolation) and (iii) optimization procedure. To overcome the data acquisition challenges, three proxy-physics turbulence surrogates of different degrees of complexity (yet significantly simpler than turbulence physics) are employed to generate the parameter-to-solution maps. Even for this simple proxy-physics system, it is demonstrated that feed-forward NNs require more degrees of freedom than the original proxy-physics model to accurately approximate the true model even when trained with data over the entire parameter space (interpolation). Additionally, if deep fully-connected NNs are trained with data only from part of the parameter space (extrapolation), their approximation capability reduces considerably and it is not straightforward to find an optimal architecture. Overall, the findings provide a realistic perspective on the utility of ML turbulence closures for practical applications and identify areas for improvement.

研究动机与目标

• 评估数据驱动深度神经网络（DNN）在RANS模拟中湍流闭合建模的泛化能力。
• 研究固有解流形复杂度、采样策略（插值与外推）以及优化过程对DNN性能的影响。
• 评估中等规模全连接DNN是否能准确逼近复杂、非线性且具有分岔特性的湍流本构关系。
• 识别在数据稀疏性和非线性条件下训练DNN进行湍流建模的关键挑战。
• 为机器学习增强的RANS模型在未见工程流场中的实际可行性提供现实评估。

提出的方法

• 采用三种复杂度递增的代理物理湍流模型——无分岔的非线性模型、具有轻微分岔的非线性模型，以及具有中等非线性的分岔模型——生成参数到解的映射关系。
• 利用近似雷诺应力模型（ARSM）结合SSG模型，生成高保真数据，以模拟不同参数区域下的湍流行为。
• 对激活函数、网络深度、宽度、学习率、批量大小、优化器和正则化系数等超参数进行暴力式超参数扫描，以识别局部最优配置。
• 使用随机优化（Adam、RMSProp）和L2正则化训练全连接前馈DNN，并通过训练集和测试集的平均绝对百分比误差（MAPE）评估性能。
• 通过在部分参数空间上进行训练（外推）并在未见区域上进行评估，测试泛化能力，模拟真实世界部署场景。
• 系统性地开展消融研究，以隔离单个超参数对模型精度和鲁棒性的影响。

实验结果

研究问题

• RQ1 中等规模的全连接DNN能否在RANS模型中准确逼近复杂、非线性且具有分岔特性的湍流本构关系？
• RQ2 解流形的内在复杂度（非线性和分岔）如何影响DNN的逼近精度和泛化能力？
• RQ3 训练数据采样策略（插值与外推）对DNN泛化性能有何影响？
• RQ4 超参数选择（激活函数、学习率、批量大小、优化器、正则化）如何影响DNN湍流模型的精度和鲁棒性？
• RQ5 在存在非线性和分岔的情况下，能否通过系统性超参数扫描可靠地识别出局部最优DNN架构？

主要发现

• 即使在参数空间全范围插值的情况下，DNN仍需要比真实代理物理模型更多的自由度才能达到可接受的精度，表明存在显著的模型复杂度开销。
• 当仅在参数空间部分区域进行训练（外推）时，DNN性能显著下降，某些情况下测试MAPE上升至10%以上。
• 解流形中同时存在非线性和分岔时导致测试误差最高，ReLU和Sigmoid激活函数在最优调优下分别产生8.53%和4.39%的MAPE。
• 在激活函数中，Sigmoid在结合更大网络架构时达到最低的测试MAPE（4.39%），而Leaky-ReLU和Tanh则表现出更高误差（11.60%和12.03%）。
• 最优超参数对问题结构敏感：对于Sigmoid激活网络，学习率为1e-3、批量大小为50、L2正则化系数λ=0.1时表现最佳。
• 本研究表明，泛化失败并非仅由数据稀缺引起，而是从根本上与解流形的几何和拓扑复杂度相关，尤其是分岔现象。