[论文解读] Non-clairvoyant Scheduling of Coflows

Akhil Bhimaraju, Debanuj Nayak+1 more|arXiv (Cornell University)|Apr 13, 2020

Cloud Computing and Resource Management参考文献 26被引用 4

一句话总结

该论文提出 BlindFlow，一种非透明（non-clairvoyant）的共流调度算法，无需事先知晓流大小，仅根据到达时的流数量和输入-输出端口对数量进行操作。该算法在最小化加权共流完成时间总和方面，实现了 8p-近似保证，其中 p 为每个共流的最大输入-输出端口对数量，且该界在仅具有因果信息的在线设置下依然成立。

ABSTRACT

The coflow scheduling problem is considered: given an input/output switch with each port having a fixed capacity, find a scheduling algorithm that minimizes the weighted sum of the coflow completion times respecting the port capacities, where each flow of a coflow has a demand per input/output port, and coflow completion time is the finishing time of the last flow of the coflow. The objective of this paper is to present theoretical guarantees on approximating the sum of coflow completion time in the non-clairvoyant setting, where on a coflow arrival, only the number of flows, and their input-output port is revealed, while the critical demand volumes for each flow on the respective input-output port is unknown. The main result of this paper is to show that the proposed BlindFlow algorithm is $8p$-approximate, where $p$ is the largest number of input-output port pairs that a coflow uses. This result holds even in the online case, where coflows arrive over time and the scheduler has to use only causal information. Simulations reveal that the experimental performance of BlindFlow is far better than the theoretical guarantee.

研究动机与目标

• 解决在流需求到达时未知的非透明共流调度问题。
• 在仅掌握部分信息（流的数量和端口对）的情况下，为最小化加权共流完成时间总和提供理论近似保证。
• 设计一种在线且可实现的算法，在缺乏流大小知识的情况下仍能表现出色。
• 弥合非透明共流调度中理论界限与实际性能之间的差距。

提出的方法

• BlindFlow 基于活跃流的数量及其端口分配，采用一种不依赖流大小估计的速率分配策略。
• 采用时间拉伸调度方法，其基础调度来自一个松弛的线性规划（LP）公式，通过 4p 的时间缩放因子进行调整。
• 该算法根据流的进度动态分配带宽，确保在端口容量约束下实现公平性和进度推进。
• 一个关键组件是将 CLAS（最小已获服务）原则的改进版本应用于非透明环境下的共流。
• 理论分析采用对偶拟合技术，并将算法性能与透明的离线最优解进行比较。
• 分析引入了一个时间拉伸的基础调度，并使用一种分摊论证方法，将近似比上限控制在 8p。

实验结果

研究问题

• RQ1 非透明共流调度算法能否相对于透明离线最优解实现常数近似比？
• RQ2 在非透明设置下，近似比如何随每个共流的最大输入-输出端口对数量 p 变化？
• RQ3 尽管存在理论界限，所提出的算法在实践中是否优于现有的非透明启发式方法？
• RQ4 能否在仅具有因果信息的在线非透明共流调度中推导出理论保证？

主要发现

• BlindFlow 在最小化加权共流完成时间总和方面实现了 8p-近似比，其中 p 为任一共同流使用的最大输入-输出端口对数量。
• 该理论保证即使在在线设置下依然成立，即共流随时间到达，且仅能获取因果信息。
• 在合成数据和真实世界 Facebook MapReduce 踪迹上的仿真结果表明，BlindFlow 的实际性能显著优于 8p 的理论界限。
• 在真实数据上，BlindFlow 的性能远比理论预测更接近透明下界，且性能比并未如理论所预测的那样随 p 增大而恶化。
• BlindFlow 在实践中优于非透明启发式算法 Aalo，尽管在某些情况下 Aalo 略胜一筹，但 BlindFlow 更易于实现和分析。
• 分析表明，理论界限可能过于宽松，实际性能远优于最坏情况下的保证。