[论文解读] Optimal Low-Latency Network Topologies for Cluster Performance Enhancement

Yuefan Deng, Meng Guo+4 more|arXiv (Cornell University)|Apr 1, 2019

Interconnection Networks and Systems参考文献 49被引用 4

一句话总结

本文提出，在规则网络拓扑中最小化平均路径长度可显著提升集群性能。通过模拟包含256个节点的集群，采用Dragonfly、环形、Chvatal等拓扑结构，作者证明在通信密集型工作负载中，最优低延迟设计可将性能提升数倍，表明仅通过优化拓扑即可在相同硬件条件下重获性能优势。

ABSTRACT

We propose that clusters interconnected with network topologies having minimal mean path length will increase their overall performance for a variety of applications. We approach our heuristic by constructing clusters of up to 36 nodes having Dragonfly, torus, ring, Chvatal, Wagner, Bidiakis and several other topologies with minimal mean path lengths and by simulating the performance of 256-node clusters with the same network topologies. The optimal (or sub-optimal) low-latency network topologies are found by minimizing the mean path length of regular graphs. The selected topologies are benchmarked using ping-pong messaging, the MPI collective communications, and the standard parallel applications including effective bandwidth, FFTE, Graph 500 and NAS parallel benchmarks. We established strong correlations between the clusters' performances and the network topologies, especially the mean path lengths, for a wide range of applications. In communication-intensive benchmarks, clusters with optimal network topologies out-perform those with mainstream topologies by several folds. It is striking that a mere adjustment of the network topology suffices to reclaim performance from the same computing hardware.

研究动机与目标

• 识别可最小化规则图中平均路径长度的网络拓扑，以提升集群性能。
• 评估网络拓扑对集群中通信密集型HPC工作负载的影响。
• 证明仅通过优化拓扑即可显著提升性能，而无需更改硬件。
• 使用标准HPC应用程序对多种拓扑（如Dragonfly、torus、ring、Chvatal、Wagner、Bidiakis）进行基准测试。
• 在多种工作负载下建立平均路径长度与整体集群性能之间的强相关性。

提出的方法

• 构建最多36个节点的集群，采用多种规则拓扑，以分析平均路径长度。
• 使用相同拓扑结构模拟256个节点的集群，以评估可扩展性和性能。
• 将最小化平均路径长度作为选择最优或次优拓扑的主要启发式准则。
• 通过ping-pong消息传递、MPI集体通信操作以及标准HPC工作负载（如NAS Parallel Benchmarks、Graph 500、FFTE）对拓扑进行基准测试。
• 分析在多种应用中，性能与网络拓扑（尤其是平均路径长度）之间的相关性。
• 采用基于仿真的评估方法，在相同硬件条件下比较不同拓扑的性能表现。

实验结果

研究问题

• RQ1 在规则图中，哪些网络拓扑可最小化平均路径长度，适用于集群互连？
• RQ2 平均路径长度与通信密集型HPC应用性能之间存在何种相关性？
• RQ3 在不更换硬件的前提下，拓扑优化能在多大程度上提升集群性能？
• RQ4 在真实HPC工作负载下，Dragonfly、torus及其他拓扑在延迟和性能方面表现如何比较？
• RQ5 能否识别出次优拓扑，并用最优拓扑替代以实现显著性能提升？

主要发现

• 在通信密集型基准测试中，采用最优低延迟拓扑的集群性能比采用主流拓扑的集群高出数倍。
• 在广泛的应用范围内，建立了平均路径长度与整体集群性能之间的强相关性。
• 相同计算硬件在搭配最优网络拓扑时，可实现显著更高的性能。
• 当优化为最小平均路径长度时，Dragonfly和torus等拓扑表现出卓越性能。
• ping-pong和MPI集体通信基准测试证实，降低平均路径长度可直接改善延迟和带宽。
• 本研究证明，网络拓扑是HPC集群中一个关键但尚未被充分利用的性能提升杠杆。