[论文解读] Turbulence closure with small, local neural networks: Forced two-dimensional and $β$-plane flows

Kaushik Srinivasan, Mickaël D. Chekroun+1 more|arXiv (Cornell University)|Apr 11, 2023

Fluid Dynamics and Turbulent Flows被引用 5

一句话总结

本论文提出一种基于小型双层卷积神经网络（CNN）的湍流闭合方法，参数量约1,000个，用于在高雷诺数（Re ~ 25,000）下的强迫二维及β平面湍流中建模亚网格尺度（SGS）通量。通过在高分辨率数据上进行训练，并最小化SGS涡度通量的散度，该方法在16倍下采样下实现了稳定且精确的长期模拟，同时通过循环学习率退火与超参数优化，显著提升了训练效率与鲁棒性，表明浅层、局部响应型网络无需记忆项或能量约束即可有效捕捉SGS动力学。

ABSTRACT

We parameterize sub-grid scale (SGS) fluxes in sinusoidally forced two-dimensional turbulence on the $β$-plane at high Reynolds numbers (Re$\sim$25000) using simple 2-layer Convolutional Neural Networks (CNN) having only O(1000)parameters, two orders of magnitude smaller than recent studies employing deeper CNNs with 8-10 layers; we obtain stable, accurate, and long-term online or a posteriori solutions at 16X downscaling factors. Our methodology significantly improves training efficiency and speed of online Large Eddy Simulations (LES) runs, while offering insights into the physics of closure in such turbulent flows. Our approach benefits from extensive hyperparameter searching in learning rate and weight decay coefficient space, as well as the use of cyclical learning rate annealing, which leads to more robust and accurate online solutions compared to fixed learning rates. Our CNNs use either the coarse velocity or the vorticity and strain fields as inputs, and output the two components of the deviatoric stress tensor. We minimize a loss between the SGS vorticity flux divergence (computed from the high-resolution solver) and that obtained from the CNN-modeled deviatoric stress tensor, without requiring energy or enstrophy preserving constraints. The success of shallow CNNs in accurately parameterizing this class of turbulent flows implies that the SGS stresses have a weak non-local dependence on coarse fields; it also aligns with our physical conception that small-scales are locally controlled by larger scales such as vortices and their strained filaments. Furthermore, 2-layer CNN-parameterizations are more likely to be interpretable and generalizable because of their intrinsic low dimensionality.

研究动机与目标

• 开发一种计算高效且稳定的高雷诺数二维及β平面湍流的湍流闭合方法，采用极简神经网络。
• 探究浅层、局部CNN是否可在无需深层结构或记忆项的情况下，准确参数化亚网格尺度（SGS）应力。
• 评估优化技术（特别是循环学习率退火与超参数搜索）对在线大涡模拟（LES）设置中模型稳定性与准确率的影响。
• 通过分析其对粗网格速度、涡度与应变场的依赖性，评估小型CNN的物理解释性与泛化能力。
• 检验是否可在不强制实施能量或涡度守恒约束的前提下实现闭合，从而挑战SGS建模中的传统假设。

提出的方法

• 训练一个双层卷积神经网络（CNN），从粗网格输入（包括速度、涡度与应变场）预测偏应力张量 $\boldsymbol{S}_d$。
• 损失函数通过最小化高分辨率求解器中SGS涡度通量的散度与CNN预测值之间的差异来优化，且不施加能量或涡度守恒约束。
• 采用循环学习率退火以提升训练稳定性与收敛性，降低对固定学习率选择的敏感性。
• 在学习率与权重衰减系数空间内进行全面的超参数网格搜索，以优化模型性能。
• 在离线（存储数据上）与在线（实时模拟中）两种场景下评估模型，以检验其在大涡模拟中的长期准确率与稳定性。
• 网络架构设计为具有局部响应特性，反映物理直觉：小尺度应力主要受附近大尺度结构（如涡旋及其拉伸丝状结构）的影响。

Figure 1. Snapshots after $t$ = 2 $\times 10^{6}\Delta t$ for $\beta=0$ of a) DNS vorticity $\omega$ b) Filtered DNS vorticity, $\bar{\omega}$ c) SGS vorticity field, $\omega^{\prime}=\omega-\bar{\omega}$ d) SGS stress divergence, $\Pi$ . Same for e)-f) but for $\beta=20$ ; note the jets along the $

实验结果

研究问题

• RQ1 一个仅含约1,000个参数的浅层双层CNN能否在高雷诺数二维及β平面湍流中准确参数化亚网格尺度应力？
• RQ2 与固定学习率相比，使用循环学习率退火是否能显著提升在线大涡模拟运行的鲁棒性与准确率？
• RQ3 SGS应力张量在多大程度上依赖于粗网格场？这种局部性是否可用于降低模型复杂度并提升可解释性？
• RQ4 是否可在损失函数中不强制实施能量或涡度守恒约束的前提下，实现准确的湍流闭合？
• RQ5 浅层CNN的成功是否意味着对于此类湍流，Mori-Zwanzig形式化中的记忆项并非必要？

主要发现

• 所提出的双层CNN（约1,000个参数）在Re ~ 25,000的强迫二维与β平面湍流中，实现了16倍下采样下的稳定且精确的长期在线模拟。
• 循环学习率退火显著提升了训练稳定性与模型保真度，在离线与在线设置中均优于固定学习率调度。
• 该方法在不强制实施能量或涡度守恒的前提下实现了高精度，表明此类约束在该参数区间并非有效闭合的必要条件。
• 浅层、局部响应网络的成功表明SGS应力对粗场的非局部依赖性较弱，支持小尺度动力学主要由局部大尺度结构主导的观点。
• 模型性能表明，给定粗变量时未解析变量的条件期望（由CNN近似）可作为有效的闭合形式，与Chekroun等人（2020）提出的最优参数化流形（OPM）概念一致。
• 结果挑战了Mori-Zwanzig形式化中记忆项对于此类湍流的必要性，表明经过良好训练的、粗变量的低维非线性泛函已足够实现精确闭合。

Figure 2. $x$ - and $y$ -sections of the spatial cross-correlations between $\Pi$ and the resolved vorticity field, $\bar{\omega}$ . For $\beta=0$ , the correlations along both directions are nearly symmetric so only one of them is shown. For finite $\beta$ , the cross-jet correlation length (along