[论文解读] Using Straggler Replication to Reduce Latency in Large-scale Parallel Computing (Extended Version).

Da Wang, Gauri Joshi+1 more|arXiv (Cornell University)|Mar 11, 2015

Cloud Computing and Resource Management参考文献 15被引用 5

一句话总结

本文提出通过复制延迟任务来减少大规模并行计算中的作业完成延迟，重点针对执行时间分布的尾部。通过应用极值理论和启发式优化算法，识别出能显著降低延迟且资源成本增加极少的复制策略，在Google Trace数据上优于MapReduce的基线策略。

ABSTRACT

Users expect fast and fluid response from today's cloud infrastructure. Large-scale computing frameworks such as MapReduce divide jobs into many parallel tasks and execute them on different machines to enable faster processing. But the tasks on the slowest machines (straggling tasks) become the bottleneck in the completion of the job. One way to combat the variability in machine response time, is to add replicas of straggling tasks and wait for one copy to finish. In this paper we analyze how task replication strategies can be used to reduce latency, and their impact on the cost of computing resources. We use extreme value theory to show that the tail of the execution time distribution is the key factor in characterizing the trade-off between latency and computing cost. From this trade-off we can determine which task replication strategies reduce latency, without a large increase in computing cost. We also propose a heuristic algorithm to search for the best replication strategies when it is difficult to fit a simple distribution to model the empirical behavior of task execution time, and use the proposed analysis techniques. Evaluation of the heuristic policies on Google Trace data shows a significant latency reduction compared to the replication strategy used in MapReduce.

研究动机与目标

• 解决大规模并行系统中延迟任务导致作业完成延迟的问题。
• 分析任务复制策略如何影响延迟与计算成本之间的权衡。
• 开发一种在任务执行时间不符合简单统计分布时识别最优复制策略的方法。
• 利用真实世界的Google Trace数据评估所提策略的有效性。

提出的方法

• 本文应用极值理论来建模任务执行时间分布的尾部，该部分决定了作业完成延迟。
• 基于任务完成时间的极值分布，构建成本-延迟权衡模型。
• 提出一种启发式算法，用于在经验任务时间不符合简单参数分布时搜索最优复制策略。
• 通过估计复制策略对作业完成时间和资源成本的影响，评估复制策略。
• 该方法使用Google Trace中的真实执行时间数据校准并验证模型。

实验结果

研究问题

• RQ1 任务执行时间分布的尾部在大规模系统中如何影响作业完成延迟？
• RQ2 哪些复制策略能在保持计算成本较低的同时最小化延迟？
• RQ3 当任务执行时间不符合简单统计分布时，如何识别最优复制策略？
• RQ4 与MapReduce中使用的基线策略相比，复制能在多大程度上减少延迟？

主要发现

• 执行时间分布的尾部是决定作业完成延迟的主导因素，因此在优化中至关重要。
• 基于极值理论推导出的复制策略能有效降低延迟，且资源成本增加有限。
• 所提出的启发式算法即使在任务时间不符合简单分布时，也能成功识别高性能的复制策略。
• 在Google Trace数据上的评估显示，与MapReduce的默认复制策略相比，延迟显著降低。