[论文解读] Understanding Data Movement in Tightly Coupled Heterogeneous Systems: A Case Study with the Grace Hopper Superchip

Luigi Fusco, Mikhail Khalilov+4 more|arXiv (Cornell University)|Aug 21, 2024

Modular Robots and Swarm Intelligence被引用 4

一句话总结

本文对阿尔卑斯超算中的Quad GH200节点进行了全面的性能表征，分析了CPU、GPU及异构内存类型（HBM、DDR）之间的内存访问模式。通过自定义微基准测试，表明数据放置与局部性——尤其是同一Grace Hopper超芯片内部的局部性——对性能有显著影响，C2C互连支持高带宽、低延迟访问，从而为内存受限工作负载（如LLM推理和NCCL集体通信）释放性能潜力。

ABSTRACT

Heterogeneous supercomputers have become the standard in HPC. GPUs in particular have dominated the accelerator landscape, offering unprecedented performance in parallel workloads and unlocking new possibilities in fields like AI and climate modeling. With many workloads becoming memory-bound, improving the communication latency and bandwidth within the system has become a main driver in the development of new architectures. The Grace Hopper Superchip (GH200) is a significant step in the direction of tightly coupled heterogeneous systems, in which all CPUs and GPUs share a unified address space and support transparent fine grained access to all main memory on the system. We characterize both intra- and inter-node memory operations on the Quad GH200 nodes of the new Swiss National Supercomputing Centre Alps supercomputer, and show the importance of careful memory placement on example workloads, highlighting tradeoffs and opportunities.

研究动机与目标

• 理解紧密耦合异构系统中数据移动的性能特征，重点关注Grace Hopper超芯片（GH200）。
• 评估内存分配策略与数据放置策略对真实工作负载（如LLM推理和NCCL集体通信）的影响。
• 量化不同内存类型（HBM、DDR）和处理单元（CPU、GPU）之间，节点内与节点间内存操作的性能差异。
• 验证NVLink-C2C互连是否能够实现跨异构处理单元的高效、低延迟、缓存一致的访问，从而支持统一内存访问。

提出的方法

• 设计并执行一套全面的微基准测试，测量所有处理单元（CPU、GPU）与内存类型（HBM、DDR）组合下的读取、写入和复制操作性能。
• 采用数据路径导向方法，将实测性能与底层硬件互连（NVLink-C2C、Slingshot）的理论带宽和延迟极限进行关联。
• 使用PyTorch的可插拔内存分配器控制HBM（GPU内存）上的内存分配以及DDR（CPU内存）上的NUMA感知分配，从而实现对数据放置的受控实验。
• 测量节点内与节点间配置下NCCL全归约和全聚集操作的性能，以评估可扩展性与局部性影响。
• 通过不同内存分配策略对Llama2-7b和Llama2-13b LLM推理工作负载的分析，评估真实场景下的性能影响。
• 通过将实测性能与基于系统物理数据路径和互连能力推导出的理论极限进行对比，验证结果的可靠性。

Figure 2: Maximum bandwidth plotted against access latency achieved by Grace (left) and Hopper (right) to different memories of the system. The suffix ”-p” indicates memory on a peer GH200.

实验结果

研究问题

• RQ1 在GH200节点内，数据在CPU、GPU、HBM和DDR之间的放置方式，如何影响合成工作负载与应用工作负载的内存访问性能？
• RQ2 NVLink-C2C互连在紧密耦合系统中，能在多大程度上实现CPU与GPU之间的低延迟、高带宽、缓存一致访问？
• RQ3 内存访问模式与分配策略如何影响内存受限工作负载（如LLM推理和NCCL集体通信）的性能？
• RQ4 超芯片内与超芯片间的内存访问性能相比如何？这对集体通信操作有何影响？

主要发现

• 超芯片内部的内存访问（同一GH200内）相比跨不同超芯片的对等访问，显著提升了带宽并降低了延迟，尤其在HBM和DDR上表现明显。
• 对于LLM推理，内存访问速度对性能有可测量的影响，最优数据放置可使推理时间相比次优配置减少高达20%。
• NCCL全归约与全聚集操作表明，对等DDR访问严重限制了可扩展性，而同一GH200内的访问无论内存类型（HBM或DDR）均能实现接近峰值性能。
• C2C互连支持从任意处理单元对所有系统内存的透明、高带宽访问，当数据靠近处理单元时，性能可接近理论极限。
• 使用Tensor Core的工作负载在将矩阵从HBM移动到DDR后会变为内存受限，即使使用高带宽内存，性能仍显著下降。
• 对于大块内存分配，PyTorch可插拔分配器因引入同步开销，性能低于直接调用cudaMalloc，但支持受控的内存放置实验。

Figure 3: Theoretical bandwidth bound for (left to right) read and write operations, copy operations issued by a Grace, and copy operations issued by a Hopper. Bounds depend on the datapath, which in turn depends on the types of memories involved. The bounds are shown in GB/s and include the limitin