[论文解读] SWIFT: A modern highly-parallel gravity and smoothed particle hydrodynamics solver for astrophysical and cosmological applications

Matthieu Schaller, Josh Borrow+19 more|arXiv (Cornell University)|May 22, 2023

Galaxies: Formation, Evolution, Phenomena参考文献 220被引用 23

一句话总结

SWIFT 是一款完全开源、高度并行、基于任务的天体物理学模拟代码，结合了引力、光滑粒子流体动力学（SPH）和宇宙学物理，采用共享内存与分布式内存混合并行计算。它在使用快速多极子方法和粒子网格引力求解器的宇宙学模拟中，实现了约 3000 亿粒子规模下的优异弱缩放性能，支持多种 SPH 变体和模块化的星系形成与行星物理亚网格模型。

ABSTRACT

Numerical simulations have become one of the key tools used by theorists in all the fields of astrophysics and cosmology. The development of modern tools that target the largest existing computing systems and exploit state-of-the-art numerical methods and algorithms is thus crucial. In this paper, we introduce the fully open-source highly-parallel, versatile, and modular coupled hydrodynamics, gravity, cosmology, and galaxy-formation code SWIFT. The software package exploits hybrid shared- and distributed-memory task-based parallelism, asynchronous communications, and domain-decomposition algorithms based on balancing the workload, rather than the data, to efficiently exploit modern high-performance computing cluster architectures. Gravity is solved for using a fast-multipole-method, optionally coupled to a particle mesh solver in Fourier space to handle periodic volumes. For gas evolution, multiple modern flavours of Smoothed Particle Hydrodynamics are implemented. SWIFT also evolves neutrinos using a state-of-the-art particle-based method. Two complementary networks of sub-grid models for galaxy formation as well as extensions to simulate planetary physics are also released as part of the code. An extensive set of output options, including snapshots, light-cones, power spectra, and a coupling to structure finders are also included. We describe the overall code architecture, summarise the consistency and accuracy tests that were performed, and demonstrate the excellent weak-scaling performance of the code using a representative cosmological hydrodynamical problem with $\approx$$300$ billion particles. The code is released to the community alongside extensive documentation for both users and developers, a large selection of example test problems, and a suite of tools to aid in the analysis of large simulations run with SWIFT.

研究动机与目标

• 开发一种可扩展、模块化且开源的模拟代码，用于大规模天体物理学和宇宙学问题。
• 通过基于任务的并行计算和负载均衡的域分解，实现对现代高性能计算架构的高效利用。
• 通过可扩展的亚网格物理模型，支持引力、流体动力学、中微子和星系形成等过程的精确且灵活建模。
• 通过公开发布、详尽的文档和共享示例问题，促进可重现性与社区协作。

提出的方法

• 采用混合共享内存与分布式内存的任务并行机制，结合异步通信，以在现代 HPC 集群上实现高效扩展。
• 使用快速多极子方法（FMM）求解引力，可选地与傅里叶空间粒子网格求解器结合，用于周期性边界条件。
• 实现多种现代 SPH 变体，包括 Sphenix，以在天体物理环境中精确模拟气体动力学。
• 采用先进的基于粒子的方法演化中微子，以建模其对大尺度结构的影响。
• 集成两种互补的星系形成亚网格模型，并支持扩展以模拟行星系统物理。
• 支持多种输出格式，包括快照、光锥、功率谱，并可与结构探测工具集成以支持分析。

实验结果

研究问题

• RQ1 如何设计一种高度可扩展、模块化且开源的模拟代码，以应对现代宇宙学与天体物理学问题的复杂性？
• RQ2 在基于 CPU 的现代 HPC 系统上，针对包含数千亿粒子的模拟，哪些并行化策略能实现最佳性能？
• RQ3 如何在单一、可扩展的框架内高效耦合多种数值方法——包括引力、SPH、中微子动力学和星系形成模型？
• RQ4 使用该代码在大规模宇宙学流体动力学中可达到怎样的性能与精度基准？
• RQ5 该代码如何支持计算天体物理学中的可重现性与社区驱动的开发？

主要发现

• SWIFT 在包含约 3000 亿粒子的宇宙学流体动力学问题上实现了优异的弱缩放性能，证明了其在大规模计算集群上的可扩展性。
• 该代码成功集成多种 SPH 变体，包括 Sphenix 方案，并支持结合 FMM 与粒子网格方法的先进引力求解器，适用于周期性空间。
• 采用基于粒子的方法精确模拟中微子演化，使其中微子的宇宙学效应可被纳入大尺度结构模拟。
• 模块化设计支持星系形成亚网格模型的无缝集成，其中两个互补的网络模型已随核心代码一同发布。
• 该代码已公开发布，配有详尽文档、示例问题和分析工具，支持可重现性与社区贡献。
• 广泛的的一致性与精度测试验证了该代码在各类天体物理测试问题中数值方法的可靠性。