[论文解读] PDEBENCH: An Extensive Benchmark for Scientific Machine Learning

Makoto Takamoto, Timothy Praditia+5 more|arXiv (Cornell University)|Oct 13, 2022

Model Reduction and Neural Networks被引用 56

一句话总结

PDEBench 提供一个大型、可扩展的面向 Scientific ML 的基准测试套件，包含 11 种 PDE、庞大数据集、基线模型（FNO、U-Net、PINN），以及用于评估物理感知性能与泛化的新评估指标。

ABSTRACT

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

研究动机与目标

• 提供一个全面、易于使用的 Scientific ML 基准测试，覆盖大量时变 PDE 的应用场景。
• 提供大规模、多样化的数据集（正向与逆向问题），并提供可直接使用的数据和生成更多数据的代码。
• 建立基线模型（FNO、U-Net、PINN）以及用于公平比较的标准化 API。
• 引入超越 RMSE 的物理感知评估指标，以捕捉守恒律和边界行为。
• 鼓励社区扩展基准测试并在可重复数据原则下进行可复现实验。

提出的方法

• 为离散化 PDE 定义前向传播算子并学习一个近似离散化前向算子的代理模型。
• 提供涵盖 11 种 PDE（1–3D）的数据集，具备不同参数、初始/边界条件和分辨率。
• 实现并评估基线模型：傅立叶神经算子（FNO）、U-Net，以及物理信息神经网络（PINN）。
• 提出一系列指标，包括 RMSE、归一化 RMSE、最大误差，以及面向物理的度量（守恒量、边界和傅里叶区域误差）。
• 通过 DaRUS 提供带 DOI 的数据访问、统一的数据接口，以及可通过可配置 API（Hydra）生成新数据的代码。
• 通过使用学习到的前向代理来推断未观测的初始条件或 PDE 参数，探索逆问题。

实验结果

研究问题

• RQ1 为有效基准 Scientific ML 方法，需要覆盖哪些 PDE 和问题设置的广度？
• RQ2 在现实的 1–3D 设置下，流行的 ML 基线（FNO、U-Net、PINN）在正向和逆向 PDE 任务上的表现如何？
• RQ3 标准 ML 指标（如 RMSE）是否足以反映物理一致的性能，尤其在存在冲击、稀疏性或高频分量的区域？
• RQ4 当前 ML 代理存在哪些局限（如时间外推、高频误差），并且这些局限如何依 PDE 类型和参数而异？
• RQ5 PDEBench 能否促进公平、可扩展的比较，以及为研究者快速获取数据以扩展新的 PDE 或模型基准测试？

主要发现

• FNO 通常在大多数 PDE 的整体预测精度上表现最佳，并能较好地遵循守恒量和边界行为。
• FNO 在许多问题中对频率成分的误差保持稳定，但在具有强不连续性或较小扩散的情形下，高频误差（fRMSE 较高）可能上升。
• 对 U-Net 的自回归训练可能不稳定；向前传播技巧在稳定性和长时域精度方面有所改进。
• 对于训练步骤之外的时间外推，ML 模型在可靠地扩展动力学方面往往会失败，表明难以捕捉长时行为。
• 可压缩 Navier–Stokes 方程和高分辨率、高维问题仍具有挑战性，性能对 PDE 参数（如扩散系数、雷诺数类参数）敏感。
• 在某些任务中，PINN 可能比预期更好地处理某些 高频特征，但内存约束限制了部分 2D/3D 实验。