[论文解读] Physics-Informed Transformer operator for the prediction of three-dimensional turbulence

Zhihong Guo, Sunan Zhao+3 more|arXiv (Cornell University)|Jan 27, 2026

Model Reduction and Neural Networks被引用 0

一句话总结

论文引入基于物理信息的 Transformer 算子（PITO 和 PIITO），基于 Vision Transformer (ViT) 原理，通过将 LES 方程嵌入损失函数来预测三维湍流，实现长期稳定预测且比 PIFNO 更高效。

ABSTRACT

Data-driven turbulence prediction methods often face challenges related to data dependency and lack of physical interpretability. In this paper, we propose a physics-informed Transformer operator (PITO) and its implicit variant (PIITO) for predicting three-dimensional (3D) turbulence, which are developed based on the vision Transformer (ViT) architecture with an appropriate patch size. Given the current flow field, the Transformer operator computes its prediction for the next time step. By embedding the large-eddy simulation (LES) equations into the loss function, PITO and PIITO can learn solution operators without using labeled data. Furthermore, PITO can automatically learn the subgrid scale (SGS) coefficient using a single set of flow data during training. Both PITO and PIITO exhibit excellent stability and accuracy on the predictions of various statistical properties and flow structures for the situation of long-term extrapolation exceeding 25 times the training horizon in decaying homogeneous isotropic turbulence (HIT), and outperform the physics-informed Fourier neural operator (PIFNO). Furthermore, PITO exhibits a remarkable accuracy on the predictions of forced HIT where PIFNO fails. Notably, PITO and PIITO reduce GPU memory consumption by 79.5\% and 91.3\% while requiring only 31.5\% and 3.1\% of the parameters, respectively, compared to PIFNO. Moreover, both PITO and PIITO models are much faster compared to traditional LES method.

研究动机与目标

• 推动数据驱动的湍流预测，并解决数据依赖性与可解释性问题。
• 基于 ViTO 开发 PITO 与 PIITO，以降低计算成本来建模三维湍流。
• 将大涡模拟（LES）方程嵌入训练损失以实现物理信息学习，数据标注需求低。
• 在训练过程中自动学习亚格子尺度（SGS）系数。
• 展示对衰减及强迫的三维 HIT 长期外推的稳定性与准确性，并与 PIFNO 进行比较。

提出的方法

• 将三维流场域划分为不重叠的立方补丁以形成 Transformer 令牌（ViTO）。
• 使用带补丁大小为 P 的 ViT3D 堆叠，并设置提升层将输入映射到潜在空间，随后进行多头自注意力与投影层以重建流场。
• 引入显式迭代更新 v_{l+1}=v_{l}+σ(K(v_{l};θ_{l}))，包含 L 层 Transformer（PITO）以及权重共享的隐式变体（PIITO），形式为 v(x,(l+1)δt)=v(x,lδt)+δt σ(K(v(x,lδt;θ))）。
• 将 LES 控制方程以 L1 和 L2 项（发散自由条件与含 SGS 应力的动量方程）并入 PDE 损失，并对 ∂t 采用时间步进差分近似。
• 对静态 HIT 应用谱 forcing 约束并将输出投影到发散自由空间以满足质量守恒。
• 在衰减与强迫的 HIT 上比较物理信息 ViTO 与 PIFNO，报告训练效率、PDE/测试损失及推断性能。

实验结果

研究问题

• RQ1 PITO/PIITO 能否在训练 horizon 之外准确预测三维湍流统计量和结构？
• RQ2 在衰减 HIT 与强迫 HIT 中，物理信息 Transformer 算子是否在长期外推（≥训练 horizon 的 25×）下具有稳定性和准确性？
• RQ3 在三维湍流中，PITO/PIITO 与物理信息 FNO（PIFNO）在精度、稳定性和效率方面的比较？
• RQ4 模型是否能够从数据自动学习 SGS 系数？
• RQ5 相对于 PIFNO，在内存与参数效率方面有哪些提升？

主要发现

• PITO 与 PIITO 在衰减的 HIT（初始条件固定）下的 PDE 与测试损失低于 PIFNO。
• 两种模型在长期外推方面保持对预测的高准确性，最多可超过训练 horizon 250 个时间步。
• PITO 与 PIITO 在再现能量谱和涡结构方面优于 PIFNO，尤其在高波数和后期时刻表现明显。
• 物理信息 ViTO 仅需极少量参数且显著降低 GPU 内存需求，与 PIFNO 相比约为参数的31.5% 与 3.1%、内存减少约79.5% 与 91.3%。
• 推断时间约为 1.56–1.63 秒，相较传统 LES（Smagorinsky）方法实现约 40× 加速；在训练与推断中 PIITO 效率最高。
• PITO 与 PIITO 能从单一数据类中自动学习 SGS 系数，在衰减与强迫 HIT 条件下均表现良好。