[论文解读] The LISE package: solvers for static and time-dependent superfluid local density approximation equations in three dimensions

Shi Jin, Kenneth J. Roche+3 more|arXiv (Cornell University)|Sep 1, 2020

Nuclear physics research studies参考文献 72被引用 42

一句话总结

LISE 软件包为三维坐标空间中的静态和时变超流局部密度近似（SLDA）方程提供了高度优化的 GPU 加速求解器，实现了无对称性限制的大规模核裂变、重离子碰撞及量子涡旋动力学模拟。该软件在 Summit 和 Piz Daint 等百亿亿次级系统上实现了近乎完美的强可扩展性，时间积分精度达到 ∼O(∆t)⁶，采用 Adams-Bashforth-Milne 预估-校正格式，并利用 FFT 计算空间导数。

ABSTRACT

Nuclear implementation of the density functional theory (DFT) is at present the only microscopic framework applicable to the whole nuclear landscape. The extension of DFT to superfluid systems in the spirit of the Kohn-Sham approach, the superfluid local density approximation (SLDA) and its extension to time-dependent situations, time-dependent superfluid local density approximation (TDSLDA), have been extensively used to describe various static and dynamical problems in nuclear physics, neutron star crust, and cold atom systems. In this paper, we present the codes that solve the static and time-dependent SLDA equations in three-dimensional coordinate space without any symmetry restriction. These codes are fully parallelized with the message passing interface (MPI) library and take advantage of graphic processing units (GPU) for accelerating execution. The dynamic codes have checkpoint/restart capabilities and for initial conditions one can use any generalized Slater determinant type of wave function. The code can describe a large number of physical problems: nuclear fission, collisions of heavy ions, the interaction of quantized vortices with nuclei in the nuclear star crust, excitation of superfluid fermion systems by time dependent external fields, quantum shock waves, domain wall generation and propagation, the dynamics of the Anderson-Bogoliubov-Higgs mode, dynamics of fragmented condensates, vortex rings dynamics, generation and dynamics of quantized vortices, their crossing and recombinations and the incipient phases of quantum turbulence.

研究动机与目标

• 开发一种可扩展的高性能计算框架，用于求解无对称性约束的三维静态与时变超流局部密度近似（SLDA/TDSLDA）方程。
• 实现核物理、中子星地壳及超冷原子系统中复杂量子多体现象的大规模模拟。
• 通过利用 GPU 加速与 MPI 并行化，最小化通信开销，在现代超级计算机上实现最优性能。
• 通过广义 Slater 表 determinant 波函数提供稳定初始条件，并支持检查点/重启功能，以实现长时间动力学模拟。
• 支持多种物理问题，包括裂变、涡旋动力学、量子冲击波及早期量子湍流。

提出的方法

• 使用有限差分近似在三维空间格点上离散化 TDSLDA 方程。
• 采用快速傅里叶变换（FFT）高效计算空间导数。
• 使用预测-修正-校正时间积分算法（Adams-Bashforth-Milne），精度约为 ∼O(∆t)⁶，截断误差低。
• 通过 MPI 实现全并行化，适用于分布式内存架构，并利用 CUDA 实现 GPU 加速。
• 支持检查点/重启功能，并可从广义 Slater 表 determinant 波函数获取初始条件。
• 通过最小化 CPU-GPU 数据传输次数并减少 TDSLDA-opt 变体中对 CPU 基础例程的调用，优化性能。

实验结果

研究问题

• RQ1 能否在数千个 GPU 上高效并行化一个完全三维、无对称性限制的 SLDA/TDSLDA 方程求解器，同时保持高精度？
• RQ2 LISE 代码在 Summit 和 Piz Daint 等现代百亿亿次超级计算机上的性能扩展特性如何？
• RQ3 与传统 TDHF+BCS 代码相比，GPU 加速与优化时间积分能在多大程度上降低计算成本？
• RQ4 该代码能否准确模拟复杂的量子现象，如涡旋重组、畴壁传播及 Anderson-Bogoliubov-Higgs 模式动力学？
• RQ5 在强可扩展性中，特别是在高节点数量下，主要性能瓶颈是什么？

主要发现

• LISE 代码在 Summit 和 Piz Daint 上实现了近乎完美的强可扩展性，GPU 内核执行时间在高达 1,800 个 GPU 时几乎保持不变。
• 当节点数超过约 180–200 个时，节点间及 GPU 间的通信开销成为主导因素，表明受限于消息传递开销，存在可扩展性极限。
• 优化版本（TDSLDA-opt）减少了 CPU-GPU 数据传输调用次数，在大规模 GPU 集群上显著提升了性能。
• 在 Summit 上，TDSLDA 代码在使用 240 个节点（共 442,368 个 GPU）的 30×30×60 网格上，实现了每时间步 7.18 × 10⁻⁹ 秒的运行时间，表明其具备百亿亿次计算能力。
• 与 Sky3D 等先进 TDHF+BCS 代码相比，该代码在类似问题上的运行时间降低了近 100 倍，主要得益于更优的时间积分方法与 GPU 利用率。
• 该代码已在 Jaguar、Titan、Piz Daint、Tsubame、Summit 和 Sierra 等多套领导级计算系统上成功部署并完成基准测试，验证了其可移植性与高性能。