[论文解读] Towards Multi-spatiotemporal-scale Generalized PDE Modeling

Jayesh K. Gupta, J. Brandstetter|arXiv (Cornell University)|Sep 30, 2022

Model Reduction and Neural Networks被引用 28

一句话总结

本文将 Fourier Neural Operators、ResNets 与 U-Nets 作为多尺度流体动力学的偏微分方程代理进行比较，结果显示 U-Nets 在跨 PDE 参数与时间尺度的泛化性方面表现良好，并提供一个用于简易比较的 PyTorch 基准框架。

ABSTRACT

Partial differential equations (PDEs) are central to describing complex physical system simulations. Their expensive solution techniques have led to an increased interest in deep neural network based surrogates. However, the practical utility of training such surrogates is contingent on their ability to model complex multi-scale spatio-temporal phenomena. Various neural network architectures have been proposed to target such phenomena, most notably Fourier Neural Operators (FNOs), which give a natural handle over local & global spatial information via parameterization of different Fourier modes, and U-Nets which treat local and global information via downsampling and upsampling paths. However, generalizing across different equation parameters or time-scales still remains a challenge. In this work, we make a comprehensive comparison between various FNO, ResNet, and U-Net like approaches to fluid mechanics problems in both vorticity-stream and velocity function form. For U-Nets, we transfer recent architectural improvements from computer vision, most notably from object segmentation and generative modeling. We further analyze the design considerations for using FNO layers to improve performance of U-Net architectures without major degradation of computational cost. Finally, we show promising results on generalization to different PDE parameters and time-scales with a single surrogate model. Source code for our PyTorch benchmark framework is available at https://github.com/microsoft/pdearena.

研究动机与目标

• 研究不同神经 PDE 代理架构如何处理流体力学中的多尺度时空现象。
• 评估在 PDE 参数和时间尺度上的泛化能力。
• 开发并提供一个基于 PyTorch 的统一基准框架，用于并排比较不同架构。
• 探索改进 U-Net 下采样和信息流的架构调整及其对 PDE 学习的影响。

提出的方法

• 在速度和涡度表述的流体力学 PDE 上比较 FNO、ResNet 与类 U-Net 架构。
• 实现现代 U-Net 提升并将较低层块替换为 FNO 层以研究混合设计。
• 通过正弦嵌入进行参数条件化，以在时间窗口和外力之间实现泛化。
• 使用 AdamW 优化和余弦退火调度，评估一步和 rollout 的 MSE 损失。
• 在引用的 GitHub 仓库提供 PyTorch 基准框架，以实现可重复性和比较。

实验结果

研究问题

• RQ1 一个代理模型是否可以在不同 PDE 参数和时间尺度的流体动力学任务中实现泛化？
• RQ2 FNO、ResNet 与 U-Net 架构在学习 Navier-Stokes 与浅水方程的算子方面的比较如何？
• RQ3 将 FNO 块引入 U-Net 的下采样/上采样路径是否提升或削弱跨时间尺度与参数的泛化？
• RQ4 在 PDE 代理中对时间离散和外力进行条件化的有效策略是什么？

主要发现

• U-Net 架构通常在所测试的 PDE 任务中交付最优性能，在若干情形下胜过 FNO。
• 将 FNO 块加入到 U-Nets（U-FNet 变体）在某些下采样场景中可提升，但并非普遍提升泛化性。
• 基于 FNO 的模型对参数条件化和噪声敏感，挑战跨时间尺度与参数的泛化。
• 通过正弦嵌入进行参数条件化使得对未见时间窗口和力值的泛化成为可能，U-Nets在插值/外推中通常表现突出。
• 扩张的 ResNet 和 FNO 在特定形式（如浅水、速度）上表现良好，但在多尺度 PDE 的比较中可能落后于优化的 U-Nets。