[论文解读] Scalable Tail Latency Estimation for Data Center Networks

Kevin Zhao, Prateesh Goyal+2 more|arXiv (Cornell University)|May 2, 2022

Cloud Computing and Resource Management被引用 5

一句话总结

该论文提出 Parsimon，一种可扩展的方法，通过将端到端流性能分解为独立的链路级仿真，再将其组合以估计端到端分布，从而在大规模数据中心网络中估算尾部延迟。该方法在尾部延迟估计中误差低于9%，且无需机器学习或为新配置重新训练，相比 ns-3 实现了 492 倍的速度提升。

ABSTRACT

In this paper, we consider how to provide fast estimates of flow-level tail latency performance for very large scale data center networks. Network tail latency is often a crucial metric for cloud application performance that can be affected by a wide variety of factors, including network load, inter-rack traffic skew, traffic burstiness, flow size distributions, oversubscription, and topology asymmetry. Network simulators such as ns-3 and OMNeT++ can provide accurate answers, but are very hard to parallelize, taking hours or days to answer what if questions for a single configuration at even moderate scale. Recent work with MimicNet has shown how to use machine learning to improve simulation performance, but at a cost of including a long training step per configuration, and with assumptions about workload and topology uniformity that typically do not hold in practice. We address this gap by developing a set of techniques to provide fast performance estimates for large scale networks with general traffic matrices and topologies. A key step is to decompose the problem into a large number of parallel independent single-link simulations; we carefully combine these link-level simulations to produce accurate estimates of end-to-end flow level performance distributions for the entire network. Like MimicNet, we exploit symmetry where possible to gain additional speedups, but without relying on machine learning, so there is no training delay. On large-scale networks where ns-3 takes 11 to 27 hours to simulate five seconds of network behavior, our techniques run in one to two minutes with 99th percentile accuracy within 9% for flow completion times.

研究动机与目标

• 解决传统分组级网络仿真（如 ns-3）在大规模数据中心网络中的可扩展性瓶颈，后者模拟数秒的行为可能需要数小时。
• 在无需机器学习或为每个新配置重新训练的前提下，提供快速、准确且可推广的流级尾部延迟估计。
• 支持网络运营商的实时决策，例如预测 SLO 违规、任务放置和故障影响。
• 通过独立近似每条链路上的拥塞效应，建模聚合尾部延迟性能，利用拥塞事件在不同链路上通常不相关的观点。

提出的方法

• 将端到端流性能分解为大量并行、独立的单链路仿真，以利用固有的并行性。
• 使用专门设计的链路级仿真器，对每条链路在不同负载下流级行为的延迟贡献分布进行建模。
• 通过机械聚合过程组合各个链路级延迟分布，以估计完整的端到端流完成时间（FCT）分布。
• 在可能的情况下利用网络拓扑的对称性，进一步加速计算，且不依赖机器学习。
• 使用现有的 ns-3 实现的拥塞控制协议（DCTCP、TIMELY、DCQCN）作为链路级仿真器，以确保保真度。
• 通过直接建模本地拥塞动态避免训练步骤，实现在任意拓扑和工作负载下接近实时的性能估计。

实验结果

研究问题

• RQ1 我们能否在不依赖机器学习或重新训练的前提下，实现在大规模数据中心网络中接近实时的端到端尾部延迟估计？
• RQ2 通过孤立地建模链路级拥塞事件，我们能多准确地估计流级尾部延迟？
• RQ3 所提出的方法在不同工作负载、拓扑和拥塞控制协议下是否保持准确性？
• RQ4 该方法能否扩展到高链路利用率和异构流量模式的大规模网络？

主要发现

• 在 384 机架、6,144 台主机的数据中心网络中，Parsimon 相比 ns-3 实现了 492 倍的速度提升，将模拟时间从 11–27 小时缩短至 1–2 分钟（模拟五秒时间）。
• 即使在高负载和多样化工作负载下，该方法在 FCT 分布尾部的误差也保持在 ns-3 的 9% 以内。
• 小流和中等流以及中等链路利用率下的预测误差最低，大流和高利用率下的误差略有上升，但仍处于可接受范围内。
• 该方法在不同拥塞控制协议（DCTCP、TIMELY、DCQCN）下均表现出鲁棒性，且在不同负载水平和请求大小下性能一致。
• Parsimon 准确预测了模拟链路故障下的性能，展示了其在运营业务决策支持中的实用性。
• 该方法无需任何训练或重新训练，即可实现高精度，从而能够快速评估各种配置下的“假设”场景。