[论文解读] Parallel Spherical Harmonic Transforms on heterogeneous architectures (GPUs/multi-core CPUs)

Mikołaj Szydlarski, Pierre Estérie+3 more|arXiv (Cornell University)|Jun 1, 2011

Geophysics and Gravity Measurements参考文献 22被引用 6

一句话总结

本文针对异构架构（结合多核CPU与GPU）提出高度优化的并行球谐变换（SHT）算法，采用CUDA与MPI技术实现。在GPU集群上，反向SHT的性能相比基于CPU的MPI/OpenMP实现最高提升3倍，兼具高数值精度与良好的可扩展性，同时揭示了由于算法设计差异导致的直接变换与反向变换之间性能差异。

ABSTRACT

Spherical Harmonic Transforms (SHT) are at the heart of many scientific and practical applications ranging from climate modelling to cosmological observations. In many of these areas new, cutting-edge science goals have been recently proposed requiring simulations and analyses of experimental or observational data at very high resolutions and of unprecedented volumes. Both these aspects pose formidable challenge for the currently existing implementations of the transforms. This paper describes parallel algorithms for computing SHT with two variants of intra-node parallelism appropriate for novel supercomputer architectures, multi-core processors and Graphic Processing Units (GPU). It also discusses their performance, alone and embedded within a top-level, MPI-based parallelisation layer ported from the S2HAT library, in terms of their accuracy, overall efficiency and scalability. We show that our inverse SHT run on GeForce 400 Series GPUs equipped with latest CUDA architecture ("Fermi") outperforms the state of the art implementation for a multi-core processor executed on a current Intel Core i7-2600K. Furthermore, we show that an MPI/CUDA version of the inverse transform run on a cluster of 128 Nvidia Tesla S1070 is as much as 3 times faster than the hybrid MPI/OpenMP version executed on the same number of quad-core processors Intel Nahalem for problem sizes motivated by our target applications. Performance of the direct transforms is however found to be at the best comparable in these cases. We discuss in detail the algorithmic solutions devised for major steps involved in the transforms calculation, emphasising those with a major impact on their overall performance, and elucidates the sources of the dichotomy between the direct and the inverse operations.

研究动机与目标

• 应对宇宙学与气候建模中对高分辨率球谐变换日益增长的计算需求。
• 克服现有SHT实现中在大规模数据处理时的性能瓶颈，特别是宇宙微波背景（CMB）模拟中的瓶颈。
• 为现代异构架构（多核CPU与GPU）量身定制高效、可扩展且高精度的SHT算法。
• 实现在GPU集群上的高性能反向SHT，以加速CMB数据处理与模拟工作负载。
• 研究并解决GPU架构上直接SHT与反向SHT之间的性能差异问题。

提出的方法

• 使用CUDA实现GPU加速的并行SHT算法，使用OpenMP实现多核CPU并行化。
• 引入基于MPI的分布式内存层，实现跨多个节点的扩展，支持在集群上进行大规模SHT。
• 通过高度优化的库（如CUFFT与Intel MKL）优化关键计算步骤——尤其是FFT与归约操作。
• 采用HEALPix方式对天空像素化，以表示球面信号，并将球谐系数映射为天空图。
• 采用混合编程模型（MPI/CUDA与MPI/OpenMP），同时利用节点内与节点间并行性。
• 实现算法优化，如内存合并、内核融合以及GPU内核的高效线程块配置。

实验结果

研究问题

• RQ1 如何在结合多核CPU与GPU的异构架构上高效并行化球谐变换？
• RQ2 与最先进的CPU实现相比，使用GPU加速的SHT能带来多大性能提升？
• RQ3 为何在GPU架构上反向SHT性能优于直接SHT？哪些算法因素导致了这种性能差异？
• RQ4 基于MPI的混合实现能在GPU与CPU集群上实现多大程度的可扩展性，以应对大规模SHT工作负载？
• RQ5 与基于CPU的参考实现相比，GPU加速的SHT结果精度如何？

主要发现

• 在使用CUDA的GeForce 400系列GPU上，反向SHT性能显著优于Intel Core i7-2600K上的最先进的libpsht CPU实现。
• 使用128块Nvidia Tesla S1070 GPU的集群，通过MPI/CUDA实现的反向SHT性能相比相同数量的Intel Nehalem四核处理器上的混合MPI/OpenMP版本最高提升3倍。
• 直接SHT在GPU上仅获得适度性能提升——比基于CPU的MPI/OpenMP快约20–30%，主要受限于归约操作的性能瓶颈。
• 在CPU与GPU上生成的天空图之间的绝对差异从未超过~10⁻¹¹，证实了跨架构的高数值精度。
• 对于大测试用例（N_side = 16384，ℓ_max = 32768），CUDA优化的反向SHT相比多线程CPU版本平均加速达3.3倍。
• GPU上直接SHT与反向SHT之间的性能差距源于算法不对称性，特别是直接变换中归约与内存访问模式的处理差异。