[论文解读] On Dynamic Job Ordering and Slot Configurations for Minimizing the Makespan Of Multiple MapReduce Jobs

Wenhong Tian, Guangchun Luo+2 more|arXiv (Cornell University)|Apr 15, 2016

Cloud Computing and Resource Management参考文献 8被引用 4

一句话总结

本文提出 UAAS 算法，一种基于约瑟夫经典两机流水车间模型的最优离线调度方法，用于最小化多个 MapReduce 作业的完成时间。通过动态调整作业顺序并配置 map/reduce 作业槽比例，UAAS 实现了最优完成时间，优于 MK_JR 和 BalancedPools 等启发式方法，后者在作业槽变化时会产生次优结果。

ABSTRACT

MapReduce is a popular parallel computing paradigm for Big Data processing in clusters and data centers. It is observed that different job execution orders and MapReduce slot configurations for a MapReduce workload have significantly different performance with regarding to the makespan, total completion time, system utilization and other performance metrics. There are quite a few algorithms on minimizing makespan of multiple MapReduce jobs. However, these algorithms are heuristic or suboptimal. The best known algorithm for minimizing the makespan is 3-approximation by applying Johnson rule. In this paper, we propose an approach called UAAS algorithm to meet the conditions of classical Johnson model. Then we can still use Johnson model for an optimal solution. We explain how to adapt to Johnson model and provide a few key features of our proposed method.

研究动机与目标

• 解决在多个 MapReduce 作业中实现最小完成时间的最优离线调度方法的空白。
• 克服 MK_JR 和 BalancedPools 等启发式或次优算法的局限性，这些算法无法保证最优完成时间。
• 开发一种能够动态适应作业顺序与作业槽配置的调度方法，以满足约瑟夫模型的最优性条件。
• 验证所提方法在集群资源可用性变化时，仍能确保稳定且最优的作业顺序。

提出的方法

• UAAS 算法将 MapReduce 作业调度问题重新表述，以满足约瑟夫经典两机流水车间模型的约束，从而实现最优调度。
• 它根据 map 和 reduce 阶段的持续时间，动态确定作业执行顺序，通过约瑟夫规则确保最优序列。
• 该方法通过调整作业槽分配比例（ρ = |S^M|/|S^R|）来最小化完成时间，保持执行时间与可用作业槽之间的比例关系。
• 它基于作业槽可用性对作业执行时间进行变换：T’_i^M = T_i^M × (|S^M| / |S_x^M|) 和 T’_i^R = T_i^R × (|S^R| / |S_x^R|)，从而保持作业持续时间的相对顺序。
• 由于执行时间的成比例缩放，该算法确保在从属节点总数发生变化时，作业顺序保持稳定。
• 它利用理论分析证明，最优作业槽配置取决于工作负载、作业顺序和总作业槽数量。

实验结果

研究问题

• RQ1 能否通过适配约瑟夫模型，为多个 MapReduce 作业设计一种最优离线调度算法？
• RQ2 动态作业排序与作业槽配置如何影响 MapReduce 集群中的完成时间最小化？
• RQ3 为何现有启发式方法如 MK_JR 和 BalancedPools 在资源变化时无法实现最优完成时间？
• RQ4 MapReduce 调度算法需满足哪些条件，才能保证实现最优完成时间？
• RQ5 map 与 reduce 作业槽比例（ρ）如何影响最终完成时间，能否实现优化？

主要发现

• UAAS 算法通过满足约瑟夫模型的所有条件，实现了最优完成时间，可获得 1-近似解。
• 与 MK_JR（3-近似算法）不同，UAAS 保证了最优性能，在测试场景中可将完成时间减少高达 86.17%。
• 当集群规模发生变化（如节点故障）时，UAAS 的作业顺序保持稳定，而 MK_JR 和 BalancedPools 会产生不一致且次优的顺序。
• 最优作业槽比例 ρ 取决于工作负载特征、作业顺序和总可用作业槽数，如推导出的 C_max 方程所形式化。
• 广泛的理论分析证实，UAAS 优于 BalancedPools 等启发式替代方案，后者因负载均衡差和固定池分配而表现不佳。
• 该方法确保所有可用的 map 和 reduce 作业槽均被充分利用，最大限度减少空闲时间并提升系统吞吐量。