[论文解读] PKDGRAV3: Beyond Trillion Particle Cosmological Simulations for the Next Era of Galaxy Surveys

Douglas M. Potter, Joachim Stadel+1 more|arXiv (Cornell University)|Sep 27, 2016

Scientific Research and Discoveries被引用 8

一句话总结

PKDGRAV3 在使用 GPU 加速节点的 Piz Daint 上，仅用不到 80 小时便完成了首例超过 2 万亿粒子的宇宙学模拟，采用快速多极方法（FMM）与自适应时间步长，峰值性能达 10 Petaflops，并展示了实现 8 万亿粒子模拟的可行性，为下一代星系巡天所依赖的大规模 N 体模拟设定了新的时间-求解基准。

ABSTRACT

We report on the successful completion of a 2 trillion particle cosmological simulation to z=0 run on the Piz Daint supercomputer (CSCS, Switzerland), using 4000+ GPU nodes for a little less than 80h of wall-clock time or 350,000 node hours. Using multiple benchmarks and performance measurements on the US Oak Ridge National Laboratory Titan supercomputer, we demonstrate that our code PKDGRAV3, delivers, to our knowledge, the fastest time-to-solution for large-scale cosmological N-body simulations. This was made possible by using the Fast Multipole Method in conjunction with individual and adaptive particle time steps, both deployed efficiently (and for the first time) on supercomputers with GPU-accelerated nodes. The very low memory footprint of PKDGRAV3 allowed us to run the first ever benchmark with 8 trillion particles on Titan, and to achieve perfect scaling up to 18000 nodes and a peak performance of 10 Pflops.

研究动机与目标

• 为满足下一代星系巡天对精度的需求，实现超过 2 万亿粒子的极端规模宇宙学模拟。
• 减少大规模 N 体模拟的时间-求解耗时，使其适用于迭代式宇宙学分析流程。
• 在现代 GPU 加速超算系统（如 Piz Daint 和 Titan）上展示可扩展性与性能表现。
• 在从线性到高度非线性尺度范围内，实现物质功率谱预测的亚 1% 精度。
• 确立 8 万亿粒子模拟的可行性，为暗能量与替代引力模型的未来理论建模提供支持。

提出的方法

• 实现快速多极方法（FMM），在 N 体模拟中实现高效的 O(N log N) 引力计算。
• 采用个体化且自适应的粒子时间步长，以提升能量守恒并降低计算负载。
• 对代码进行 GPU 加速超算系统的优化，实现每粒子最小内存占用。
• 采用运行时分析，减少后期处理需求并简化模拟输出。
• 在 Titan（ORNL）和 Piz Daint（CSCS）上进行基准测试，验证在 18,000 个节点上的性能与可扩展性。
• 算法与硬件协同设计，以在摩尔定律放缓的背景下维持性能提升。

实验结果

研究问题

• RQ1 能否在现代基于 GPU 的超算系统上，于 80 小时内完成 2 万亿粒子的宇宙学 N 体模拟？
• RQ2 PKDGRAV3 在 Titan 的 18,000 个 GPU 节点上表现出怎样的性能与可扩展特性？
• RQ3 FMM 与自适应时间步长的结合如何提升极端规模模拟的精度与效率？
• RQ4 内存占用与时间-求解耗时在多大程度上可被最小化，以支持超过 8 万亿粒子的模拟？
• RQ5 此类模拟能否集成到未来星系巡天的数据分析流程中，取代传统后期处理？

主要发现

• 在 Piz Daint 的 4,000 个 GPU 节点上，成功完成耗时 79.5 小时的 2 万亿粒子宇宙学模拟。
• 在 Titan 超算系统的 18,000 个节点上，峰值性能达到 10 Petaflops，表现出完美可扩展性。
• 在 Titan 上成功运行了 8 万亿粒子基准测试，证实了超过 2 万亿粒子模拟的可行性。
• 代码在高达 18,000 个节点的范围内实现了优异的强可扩展性，性能与理论预测高度一致。
• 在 Titan 上，1 万亿粒子模拟的时间-求解耗时已缩短至 10 小时以内，表明未来十年内有望实现 8 小时内完成。
• 识别并缓解了两次瞬态硬件问题——节点性能不足与 GPU 任务处理失败——对总运行时间影响极小。