[论文解读] Optimization for Speculative Execution of Multiple Jobs in a MapReduce-like Cluster

Huanle Xu, Wing Cheong Lau|arXiv (Cornell University)|Jun 3, 2014

Cloud Computing and Resource Management参考文献 12被引用 5

一句话总结

本文提出了一种面向不同工作负载下MapReduce类集群的基于优化的推测执行方案。针对轻负载集群，提出了智能克隆算法（SCA）和长尾任务检测算法（SDA）；针对重负载集群，提出了增强型推测执行（ESE）算法，与基线方法相比，分别将作业流时减少了60%和18%，同时保持了相近的资源使用量。

ABSTRACT

Nowadays, a computing cluster in a typical data center can easily consist of hundreds of thousands of commodity servers, making component/ machine failures the norm rather than exception. A parallel processing job can be delayed substantially as long as one of its many tasks is being assigned to a failing machine. To tackle this so-called straggler problem, most parallel processing frameworks such as MapReduce have adopted various strategies under which the system may speculatively launch additional copies of the same task if its progress is abnormally slow or simply because extra idling resource is available. In this paper, we focus on the design of speculative execution schemes for a parallel processing cluster under different loading conditions. For the lightly loaded case, we analyze and propose two optimization-based schemes, namely, the Smart Cloning Algorithm (SCA) which is based on maximizing the job utility and the Straggler Detection Algorithm (SDA) which minimizes the overall resource consumption of a job. We also derive the workload threshold under which SCA or SDA should be used for speculative execution. Our simulation results show both SCA and SDA can reduce the job flowtime by nearly 60% comparing to the speculative execution strategy of Microsoft Mantri. For the heavily loaded case, we propose the Enhanced Speculative Execution (ESE) algorithm which is an extension of the Microsoft Mantri scheme. We show that the ESE algorithm can beat the Mantri baseline scheme by 18% in terms of job flowtime while consuming the same amount of resource.

研究动机与目标

• 为解决大规模计算集群中因慢速任务导致整个作业延迟的长尾问题。
• 设计基于优化的推测执行策略，在轻负载和重负载集群中平衡作业效用与资源消耗。
• 推导出区分轻负载与重负载集群运行模式的工作负载阈值。
• 在基于启发式方法（如微软Mantri）的基础上，引入数据驱动的、分析型的优化框架，以改进推测执行性能。

提出的方法

• 提出一种广义的基于克隆的框架，联合优化轻负载集群中的作业效用与资源消耗。
• 引入智能克隆算法（SCA），通过基于优化标准的战略性启动备份任务副本，以最大化作业效用。
• 开发长尾任务检测算法（SDA），在检测到长尾任务后仅启动最优数量的备份副本，从而最小化资源消耗。
• 推导出一个理论工作负载阈值，用于区分集群运行模式（轻负载 vs. 重负载），实现按运行模式选择策略。
• 提出增强型推测执行（ESE）算法，作为微软Mantri方案的扩展，在重负载集群中提升作业完成时间。
• 采用随机建模与仿真方法，利用帕累托分布的任务持续时间评估不同系统参数下的性能表现。

实验结果

研究问题

• RQ1 在轻负载的MapReduce类集群中，如何制定最优的推测执行策略，以在最小化资源消耗的同时最大化作业效用？
• RQ2 如何优化长尾任务检测机制，以在轻负载集群中最小化资源使用？
• RQ3 区分轻负载与重负载集群运行模式的理论工作负载阈值是什么？
• RQ4 如何在重负载集群中增强推测执行机制，以减少作业流时而不增加资源消耗？
• RQ5 基于优化的方案能否在作业完成时间和资源效率方面优于基于启发式的方案（如微软Mantri）？

主要发现

• SCA与SDA算法在轻负载集群中相比微软Mantri的推测执行策略，将作业流时减少了近60%。
• ESE算法在重负载集群中相比微软Mantri的基线方法，将作业流时减少了18%，同时资源消耗保持不变。
• 本文推导出的工作负载阈值能有效区分轻负载与重负载集群运行模式，从而实现策略的合理选择。
• 在单作业场景中，当帕累托分布的形状参数σi ≈ 1.7（α = 2）时，资源消耗与流时性能达到最优。
• 在重负载集群中，SCA与SDA因资源竞争与调度延迟而性能下降，证实了需采用按运行模式定制的算法。
• 仿真结果表明，ESE算法在高任务到达率场景下显著优于Mantri，80%的作业在10个时间单位内完成，而基线方法为18个时间单位。