[论文解读] Randomized Load-balanced Routing for Fat-tree Networks

Suzhen Wang, Jingjing Luo+2 more|arXiv (Cornell University)|Aug 30, 2017

Interconnection Networks and Systems参考文献 24被引用 4

一句话总结

本文提出动态随机负载均衡（DRB），一种用于胖树网络的分布式、无通信路由方案，结合D-mod-k实现确定性下行链路路径选择，以及基于阈值的双选（TTC）技术实现上行链路负载均衡。DRB通过本地调整上行链路流量，利用带阈值的随机选择，实现低路径冲突和高带宽利用率，其在延迟和负载均衡方面优于现有方案，并具备与经典双选方法相似的理论保证。

ABSTRACT

Fat-tree networks have been widely adopted to High Performance Computing (HPC) clusters and to Data Center Networks (DCN). These parallel systems usually have a large number of servers and hosts, which generate large volumes of highly-volatile traffic. Thus, distributed load-balancing routing design becomes critical to achieve high bandwidth utilization, and low-latency packet delivery. Existing distributed designs rely on remote congestion feedbacks to address congestion, which add overheads to collect and react to network-wide congestion information. In contrast, we propose a simple but effective load-balancing scheme, called Dynamic Randomized load-Balancing (DRB), to achieve network-wide low levels of path collisions through local-link adjustment which is free of communications and cooperations between switches. First, we use D-mod-k path selection scheme to allocate default paths to all source-destination (S-D) pairs in a fat-tree network, guaranteeing low levels of path collision over downlinks for any set of active S-D pairs. Then, we propose Threshold-based Two-Choice (TTC) randomized technique to balance uplink traffic through local uplink adjustment at each switch. We theoretically show that the proposed TTC for the uplink-load balancing in a fat-tree network have a similar performance as the two-choice technique in the area of randomized load balancing. Simulation results show that DRB with TTC technique achieves a significant improvement over many randomized routing schemes for fat-tree networks.

研究动机与目标

• 解决集中式或基于拥塞反馈的负载均衡在胖树网络中面临的可扩展性和高延迟问题。
• 消除分布式负载均衡方案中对全局拥塞反馈和交换机间协调的需求。
• 仅通过本地、去中心化的决策，实现上行链路和下行链路间流量分布的低路径冲突与均衡。
• 设计一种实用且可部署的路由方案，适用于HPC、DCN和NoC环境，实现最小的实现开销。

提出的方法

• 使用D-mod-k路径选择为所有源-目的对分配确定性默认路径，以最小化下行链路路径冲突。
• 在每个交换机上应用基于阈值的双选（TTC）随机技术，通过在两个随机选择的上行链路中选择负载较轻的一条，实现上行链路流量均衡。
• 引入阈值机制以减少不必要的流量重定向，提升效率并降低控制开销。
• 采用连续时间马尔可夫链（CTMC）模型分析队列动态，并证明系统在平衡状态下的时间可逆性。
• 理论分析表明，TTC实现的性能与经典双选方法相当，最大负载量级为Θ(ln ln n / ln 2)。
• 通过递归不等式和指数下界（g_i ≥ cα^i）证明队列大小呈次指数增长，从而确保系统稳定性。

实验结果

研究问题

• RQ1 一种分布式、无通信的负载均衡方案是否能在胖树网络中实现与集中式或反馈式方案相当的性能？
• RQ2 基于阈值的双选（TTC）技术在负载均衡效果和可扩展性方面与经典双选方法相比如何？
• RQ3 通过TTC实现的本地上行链路调整是否能有效均衡流量，而无需全局协调或远程反馈？
• RQ4 在重载流量下，所提出的DRB方案的理论队列大小分布和稳定性行为如何？

主要发现

• DRB通过结合确定性下行链路路由（D-mod-k）与基于TTC的本地化上行链路负载均衡，显著降低了所有链路上的路径冲突水平。
• TTC技术实现了Θ(ln ln n / ln 2)的最大负载，与经典双选方法性能相当，确保了近乎最优的负载分布。
• 仿真结果表明，DRB在平均延迟和尾部延迟方面均优于多种随机路由方案，尤其在高负载条件下表现更优。
• 理论分析确认队列大小呈次指数增长，且由于时间可逆CTMC特性，系统在重载下仍保持稳定。
• 各层之间的均衡队列大小分布渐近相同且相互独立，验证了模型假设的正确性与可扩展性。
• TTC中的阈值机制在不降低负载均衡性能的前提下减少了流量重定向操作，提升了效率。