[论文解读] Real-time Inference and Extrapolation via a Diffusion-inspired Temporal Transformer Operator (DiTTO)

Oded Ovadia, Oommen, Vivek+4 more|arXiv (Cornell University)|Jul 18, 2023

Model Reduction and Neural Networks被引用 9

一句话总结

DiTTO 是一个受扩散启发的神经算子，能够对时间依赖偏微分方程实现实时、持续时间预测，并实现时间外推与时间超分辨率，在气候数据与高超声速流动问题上得到演示。

ABSTRACT

Extrapolation remains a grand challenge in deep neural networks across all application domains. We propose an operator learning method to solve time-dependent partial differential equations (PDEs) continuously and with extrapolation in time without any temporal discretization. The proposed method, named Diffusion-inspired Temporal Transformer Operator (DiTTO), is inspired by latent diffusion models and their conditioning mechanism, which we use to incorporate the temporal evolution of the PDE, in combination with elements from the transformer architecture to improve its capabilities. Upon training, DiTTO can make inferences in real-time. We demonstrate its extrapolation capability on a climate problem by estimating the temperature around the globe for several years, and also in modeling hypersonic flows around a double-cone. We propose different training strategies involving temporal-bundling and sub-sampling and demonstrate performance improvements for several benchmarks, performing extrapolation for long time intervals as well as zero-shot super-resolution in time.

研究动机与目标

• 在数据驱动框架下推动时间连续外推以求解时间依赖的偏微分方程的精确性。
• 开发一个从初始条件 u(x,0) 连续预测 u(x,t) 的神经算子。
• 将扩散模型条件化与时间嵌入和 U-Net 架构相结合，以实现实时推断和外推。
• 引入训练策略（时间捆绑与子采样）以提升外推性能。

提出的方法

• 使用受扩散模型启发的代理算子 G，将初始条件 x0 = u(x,0) 与目标时间 t 映射到 ut = u(x,t)。
• 采用双组件架构：一个带有空间/通道注意力的 U-Net 和一个用于时间条件的时间嵌入网络。
• 通过与 t 的 Transformer 类位置编码派生的时间嵌入向量进行逐元素相乘来对 U-Net 进行条件化。
• 将 DiTTO 扩展为变体（DiTTO-s、DiTTO-point、DiTTO-gate）和训练策略（随机时间子采样、时间捆绑）。
• 在训练中将时间离散为 {t_n}，同时在 [0, t_final] 区间内进行连续时间推断。
• 在 1D/2D/3D 的 PDE（Burgers、Navier–Stokes、声波方程）和气候数据上与 FNO 和 U-Net 基线进行对比评估；分析外推与时间超分辨能力。

Figure 1 : DiTTO architecture. The discretized initial condition $u(\textbf{x},0)$ concatenated with the corresponding spatial grid, and the desired time $t\in\mathbb{R}^{+}$ are the respective inputs to the U-Net and the time-embedding network comprising DiTTO. The U-Net illustrated here consists o

实验结果

研究问题

• RQ1 扩散启发的算子是否能够从初始条件学习 PDE 解的时间连续演化？
• RQ2 DiTTO 在多大程度上能够在训练区间之外进行时间外推并实现时间超分辨？
• RQ3 时间捆绑与子采样策略如何影响长时域外推与对噪声的鲁棒性？
• RQ4 DiTTO 如何随问题维度扩展并与现有最先进的神经算子（FNO、U-Net）在基准测试中比较？
• RQ5 DiTTO 条件的代理模型是否可以用于参数条件外推（例如改变马赫数）而不仅仅是时间条件？

主要发现

• DiTTO 能从初始条件实现对时间的连续预测，并支持超出训练区间的时间外推。
• 时间捆绑在外推性能和不确定性方面优于自回归或全映射策略。
• 在 2D/3D 波传播和高超声速流动基准测试中，DiTTO 的表现优于 FNO 与 U-Net，尤其在较短的测试时 horizons 下，且在较长的时 horizons 仍具竞争力。
• DiTTO-point（降维变体）在保持与 DiTTO 相当的精度的同时降低计算成本，得益于空间位置嵌入。
• 在气候数据中，DiTTO 以约 1.4% 的平均相对误差实现五年的长期外推。
• DiTTO 在噪声鲁棒性方面表现出稳健性，即使在显著噪声水平下，DiTTO-point 也保持较低误差。

Figure 2 : Temporal-bundling for efficient extrapolation. a) demonstrates 3 types of time-series modeling strategies for extrapolating beyond the training interval. For display purposes, we consider a time-series with 20 time steps. b) visualizes the error accumulation for DiTTO models with differen