[论文解读] The Well: a Large-Scale Collection of Diverse Physics Simulations for Machine Learning

Ruben Ohana, Michael T. McCabe+25 more|arXiv (Cornell University)|Nov 30, 2024

Scientific Computing and Data Management被引用 5

一句话总结

The Well 提供一个 15 TB 的集合，包含 16 个多样化物理仿真数据集，具备统一的 PyTorch 接口用于 ML 基准测试，基线结果显示跨多个物理领域的挑战。

ABSTRACT

Machine learning based surrogate models offer researchers powerful tools for accelerating simulation-based workflows. However, as standard datasets in this space often cover small classes of physical behavior, it can be difficult to evaluate the efficacy of new approaches. To address this gap, we introduce the Well: a large-scale collection of datasets containing numerical simulations of a wide variety of spatiotemporal physical systems. The Well draws from domain experts and numerical software developers to provide 15TB of data across 16 datasets covering diverse domains such as biological systems, fluid dynamics, acoustic scattering, as well as magneto-hydrodynamic simulations of extra-galactic fluids or supernova explosions. These datasets can be used individually or as part of a broader benchmark suite. To facilitate usage of the Well, we provide a unified PyTorch interface for training and evaluating models. We demonstrate the function of this library by introducing example baselines that highlight the new challenges posed by the complex dynamics of the Well. The code and data is available at https://github.com/PolymathicAI/the_well.

研究动机与目标

• 提供一个大型、多样且易访问的基准套件，用于物理信息机器学习和代理建模。
• 在多个物理领域内通过一致的数据格式和工具，促进对 ML 代理的评估。
• 突出基线模型性能并引入评估短期与长期预测准确性的度量。
• 鼓励在数据驱动求解器中探索物理约束、边界条件以及长期稳定性。

提出的方法

• 组装跨越多种领域（例如声学、磁流体力学、天体物理等）的 16 个数据集，总计 15 TB 的时序降采样仿真快照。
• 以统一的规范将数据存储在统一的 HDF5 中，并提供用于训练/评估的 PyTorch 接口。
• 在标准化的 12 小时 GPU 预算下提供 3 个简单基线（FNO, TFNO, U-net, CNextU-net）以展示当前能力。
• 提供全面的基准工具和度量（如 VRMSE、NRMSD）以及逐场分析，以评估跨尺度和跨场的模型性能。
• 包括通过验证工具以及一致的数据格式来整合第三方数据集的可扩展性。

Figure 1: Top to bottom row: snapshots at $t=\{0,\frac{T}{3},\frac{2T}{3},T\}$ of acoustic_scattering , active_matter and convective_envelope_rsg .

实验结果

研究问题

• RQ1 多样化的大规模数据集收集是否能够改善物理代理模型的评估与开发？
• RQ2 在自回归预测下，不同模型类别（谱域与空间）在多样化的 PDE 驱动数据集上的表现如何？
• RQ3 在预测复杂的多物理、多尺度动力学时，朴素基线的局限性是什么？
• RQ4 基准测试如何捕捉长期预测中的稳定性与物理约束遵循？

主要发现

• 多样化的 16 数据集集合（15 TB）实现了跨多个物理领域的基准测试。
• 基线结果显示存在分化：某些问题偏好谱方法（FNO/TFNO），另一些偏好类似 U-Net 的结构；没有单一模型统治所有任务。
• 自回归展开在一个步骤预测之外依然困难，长期预测的性能常与一步预测指标不一致。
• 逐场及频率分箱分析显示误差集中在特定场（如压力）且高频模态收敛更快分歧。
• 该基准包括统一的 PyTorch 接口和可扩展工具，用于整合额外数据集并评估新的代理模型。

Figure 2: Top to bottom row: snapshots at $t=\{0,\frac{T}{3},\frac{2T}{3},T\}$ of euler_multi_quadrants , gray_scott_reaction_diffusion , and helmholtz_staircase