[论文解读] Ridgeline: A 2D Roofline Model for Distributed Systems

Fabio Checconi, Jesmin Jahan Tithi+1 more|arXiv (Cornell University)|Sep 3, 2022

Distributed and Parallel Computing Systems被引用 4

一句话总结

Ridgeline 通过将计算、内存和网络约束整合到二维性能可视化中，将传统的 Roofline 模型扩展至分布式系统，实现了直观的瓶颈识别。它揭示出，在数据并行的 MLP 中，批量大小低于 512 时由于 all-reduce 开销而受网络限制，而更大的批量则受计算限制，这一细微差别是标准 Roofline 模型所忽略的。

ABSTRACT

In this short paper, we introduce the Ridgeline model, an extension of the Roofline model [4] for distributed systems. The Roofline model targets shared memory systems, bounding the performance of a kernel based on its operational intensity, and the peak compute throughput and memory bandwidth of the execution system. In a distributed setting, with multiple communicating compute entities, the network must be taken into account to model the system behavior accurately. The Ridgeline aggregates information on compute, memory, and network limits in one 2D plot to show, in an intuitive way, which of the resources is the expected bottleneck. We show the applicability of the Ridgeline in a case study based on a data-parallel Multi-Layer Perceptron (MLP) instance.

研究动机与目标

• 为解决标准 Roofline 模型在捕捉分布式系统中网络带宽约束方面的局限性。
• 开发一种简化的二维可视化方法，保留原始 Roofline 的直观性，同时整合网络和内存约束。
• 在数据并行的机器学习工作负载（如 MLP 训练）中实现准确的性能预测和瓶颈识别。
• 展示该模型在识别网络通信（例如 all-reduce）何时成为主要性能成本方面的实用性。
• 为去耦合和分布式高性能计算环境中的性能分析提供实用框架。

提出的方法

• Ridgeline 模型通过算术强度（每字节内存的 FLOPS）和内存强度（每字节网络的内存字节数），将计算、内存和网络三种性能约束投影到二维平面上。
• 它叠加两条 Roofline 风格的曲线：一条为计算与内存强度的关系，另一条为内存与网络强度的关系，形成相交的边界线。
• 这些线的交点将平面划分为四个象限，分别表示不同的性能瓶颈：网络受限（左下）、内存受限（右下）、计算受限（右上）以及混合情况（左上）。
• 在左上象限中，模型使用 x 轴和 y 轴值的乘积（每网络字节的 FLOPS × 网络带宽）来确定有效性能上限。
• 该模型将脊线（ridgeline）定义为每网络字节的 FLOPS 与网络带宽乘积恒定的轨迹，确保该线上各点的 GFLOPS/s 保持一致。
• 该方法通过将运行时间分配给主导资源（内存流量 / 内存带宽、网络流量 / 网络带宽，或总 FLOPS / 计算能力）实现性能预测。

实验结果

研究问题

• RQ1 如何扩展 Roofline 模型以在分布式系统中考虑网络带宽？
• RQ2 二维可视化能否在保留原始 Roofline 可解释性的同时，整合网络和内存约束？
• RQ3 在考虑 all-reduce 通信时，数据并行 MLP 训练中会出现哪些性能瓶颈？
• RQ4 批量大小如何影响现代硬件上分布式 MLP 训练的性能瓶颈？
• RQ5 Ridgeline 模型能否准确预测通信（all-reduce）何时成为分布式训练中的主要成本？

主要发现

• 在 Intel Xeon Cascade Lake 节点上的数据并行 MLP 中，批量大小低于 512 时，尽管算术强度很高，仍因 all-reduce 通信开销而受网络限制。
• 批量大小为 512 或更高时，系统受计算限制，这一结论得到了 Ridgeline 图和时间投影的双重验证。
• 标准 Roofline 模型未能捕捉 all-reduce 成本，错误地将较小批量判断为内存受限，而实际上它们是网络受限。
• Ridgeline 图清晰地划分出三个性能区域：网络受限（左下）、内存受限（右下）和计算受限（右上），脊线则标示出性能上限。
• Ridgeline 上 x 轴与 y 轴值的乘积保持恒定，确保该线上 GFLOPS/s 一致，验证了模型的理论一致性。
• 该模型通过将运行时间分配给主导资源实现准确的性能预测，其结果在案例研究中通过投影时间测量得到验证。