[论文解读] QCD on GPUs: cost effective supercomputing

M. A. Clark|arXiv (Cornell University)|Dec 11, 2009

Particle physics theoretical and experimental studies参考文献 15被引用 4

一句话总结

本文通过利用GPU的高单精度浮点性能和内存带宽，证明了GPU在格点QCD计算中是一种成本效益高的平台。通过重新设计算法（尤其是狄拉克算子和混合精度求解器）并优化内存访问模式，作者实现了高性能和高效率，价格-性能比低至每Mflop 0.02美元，使GPU成为大规模QCD模拟中传统HPC集群的可行替代方案。

ABSTRACT

The exponential growth of floating point power in graphics processing units (GPUs), together with their low cost, has given rise to an attractive platform upon which to deploy lattice QCD calculations. GPUs are essentially many (O(100)) core chips, that are programmed using a massively threaded environment, and so are representative of the future of high performance computing (HPC). The large ratio of raw floating point operations per second to memory bandwidth that is characteristic of GPUs necessitates that unique algorithmic design choices are made to harness their full potential. We review the progress to date in using GPUs for large scale calculations, and contrast GPUs against more traditional HPC architectures

研究动机与目标

• 评估使用GPU进行大规模格点QCD计算的可行性和性能。
• 解决将QCD算法高效映射到GPU架构的挑战，这需要大规模线程级并行性和优化的内存访问。
• 对比基于GPU的系统与传统HPC集群在格点QCD工作负载下的价格-性能表现。
• 探索在格点QCD模拟中多GPU扩展的局限性和机遇。
• 倡导通过算法重构以充分挖掘GPU能力，克服异构计算中Amdahl定律的限制。

提出的方法

• 使用NVIDIA的CUDA平台编程GPU，实现格点QCD核的细粒度、数据并行执行。
• 通过确保线程块间内存事务的合并，优化内存访问，以最大化带宽利用率。
• 采用混合精度求解器，大多数运算使用单精度算术，仅在必要时使用双精度，以减轻早期GPU上双精度运算带来的性能损失。
• 应用如不精确降维和自适应多重网格等算法技术，以提高收敛速度并降低计算成本。
• 在多GPU系统中采用弱扩展，使用MPI实现节点间通信，实现高达90%的效率（每节点四张GPU）。
• 通过最大化线束利用率和共享内存使用，隐藏GPU多处理器上的内存延迟，提升性能。

实验结果

研究问题

• RQ1 如何有效将格点QCD算法映射到GPU架构上以实现高性能？
• RQ2 与传统HPC集群相比，基于GPU的系统在格点QCD模拟中具有哪些性能和成本优势？
• RQ3 混合精度求解器在保持QCD计算数值精度的前提下，能在多大程度上降低计算成本？
• RQ4 在每节点使用多张GPU或跨多个节点时，GPU集群在格点QCD中的可扩展性极限是什么？
• RQ5 诸如内存带宽、寄存器使用和共享内存等架构特性，如何影响GPU上QCD核的性能？

主要发现

• 对于类似威尔逊的离散化，GPU在单精度上的持续性能约为每设备100 Gflops，其价格-性能表现显著优于传统CPU。
• 用于格点QCD的GPU集群的价格-性能比约为每Mflop 0.02美元，远优于传统超级计算机（如BG/P）。
• 通过适当的算法优化，在单节点上使用四张GPU实现的弱扩展效率高达90%，表明其在节点内并行方面具有巨大潜力。
• Fermi架构的引入使单精度与双精度性能差距缩小至两倍，显著提升了对QCD关键的双精度计算的支持。
• 尽管取得进展，跨多个节点的多GPU部署仍具挑战，受限于PCI Express带宽和通信开销，需要更优的互连或算法创新。
• 即使双精度支持得到改善，混合精度方法依然至关重要，因为单精度与双精度之间的内存访问流量差异仍会影响性能。