[论文解读] SWIFT: Maintaining weak-scalability with a dynamic range of $10^4$ in time-step size to harness extreme adaptivity

Josh Borrow, R. G. Bower+3 more|arXiv (Cornell University)|Jul 3, 2018

Computer Graphics and Visualization Techniques参考文献 22被引用 5

一句话总结

本文提出 SWIFT，一种宇宙学模拟代码，通过结合自适应网格细化、基于任务的并行计算与SIMD向量化，以及基于METIS的域分解，实现了在4096个核心上的近乎完美的弱缩放性能。其时间步长大小的动态范围达到10⁴，实现了极端的时间自适应性，同时相较于Gadget-2实现超过30倍的加速，并在扩展过程中保持极低的性能损失。

ABSTRACT

Cosmological simulations require the use of a multiple time-stepping scheme. Without such a scheme, cosmological simulations would be impossible due to their high level of dynamic range; over eleven orders of magnitude in density. Such a large dynamic range leads to a range of over four orders of magnitude in time-step, which presents a significant load-balancing challenge. In this work, the extreme adaptivity that cosmological simulations present is tackled in three main ways through the use of the code SWIFT. First, an adaptive mesh is used to ensure that only the relevant particles are interacted in a given time-step. Second, task-based parallelism is used to ensure efficient load-balancing within a single node, using pthreads and SIMD vectorisation. Finally, a domain decomposition strategy is presented, using the graph domain decomposition library METIS, that bisects the work that must be performed by the simulation between nodes using MPI. These three strategies are shown to give SWIFT near-perfect weak-scaling characteristics, only losing 25% performance when scaling from 1 to 4096 cores on a representative problem, whilst being more than 30x faster than the de-facto standard Gadget-2 code.

研究动机与目标

• 解决宇宙学模拟中密度和时间步长大小存在极大动态范围时的弱缩放挑战。
• 克服由于Courant-Friedrichs-Lewy（CFL）条件导致的时间步长大小10⁴动态范围所引发的负载均衡问题。
• 开发一种即使在高度自适应的粒子时间步长和非均匀工作负载下仍能保持高性能和可扩展性的模拟框架。
• 通过集成异步通信和基于工作量的分解策略，实现对现代HPC架构的高效利用。
• 为宇宙学模拟提供一种高性能、开源的Gadget-2替代方案，具备更优的时间到解性能和弱缩放特性。

提出的方法

• 采用自适应网格，仅将粒子相互作用限制在相关邻居之间，从而降低每个时间步的计算成本。
• 使用基于pthreads的任务并行计算与SIMD向量化，实现单节点内高效的工作负载均衡。
• 实施基于METIS的图域分解策略，将计算工作量而非粒子本身进行分区，从而提升MPI节点间的负载均衡性。
• 应用CFL条件来确定局部时间步长：Δtᵢ ∝ uᵢ⁻¹ᐟ²ρᵢ⁻¹ᐟ³，确保在密度更高、温度更高的区域采用更小的时间步长。
• 仅在每个时间步长中对活跃粒子执行漂移和踢操作，利用基于自适应网格构建的伪-Verlet列表，最大限度减少冗余计算。
• 在域分解中引入工作量成本模型，确保工作负载的均衡分配，尤其在高度自适应的时间步长模拟中至关重要。

实验结果

研究问题

• RQ1 如何在时间步长大小具有10⁴动态范围的宇宙学模拟中保持弱缩放性能？
• RQ2 在粒子活动性和时间步长分布高度非均匀的模拟中，哪种域分解策略能最好地实现工作负载均衡？
• RQ3 基于任务的并行计算与SIMD向量化是否能有效管理自适应时间步长模拟中的负载不平衡问题？
• RQ4 SWIFT在时间到解性能和弱缩放特性方面与事实标准Gadget-2相比表现如何？
• RQ5 在自适应宇宙学模拟中，使用自适应网格和基于工作量的分解在多大程度上减少了计算开销？

主要发现

• SWIFT实现了近乎完美的弱缩放性能，在代表性宇宙学问题上，从1个核心扩展到4096个核心时，性能仅损失25%。
• 在4096个核心、25×10⁹个粒子的配置下，SWIFT每核心每更新耗时2.4×10⁻⁵秒，展现出极高的大规模计算效率。
• 在仅使用SPH模式时，SWIFT比Gadget-2快逾30倍，显著缩短了自适应宇宙学模拟的时间到解。
• 基于METIS的域分解策略降低了通信开销，并实现了良好的工作负载均衡，尤其在小时间步长粒子上表现突出。
• 自适应网格与基于任务的方案通过仅处理活跃粒子，减少了计算量，即使在复杂的时间步长层级下也提升了效率。
• 性能在不同核心数量下保持稳定，每步更新耗时仅从1个核心时的5.8×10⁻⁶秒略微增加至32个核心时的7.1×10⁻⁶秒，表明负载均衡极为出色。