[论文解读] Scheduling MapReduce Jobs on Unrelated Processors

Dimitris Fotakis, Ioannis Milis+2 more|arXiv (Cornell University)|Dec 15, 2013

Scheduling and Optimization Algorithms参考文献 10被引用 2

一句话总结

本文提出了一种针对异构无关处理器的MapReduce作业新型调度算法，利用混合整数线性规划（MILP）公式来最小化完成时间。通过建模异构处理器能力与作业依赖关系，该方法相较于基线启发式算法将完成时间减少了高达35%，在动态、异构环境中展现出显著的性能提升。

ABSTRACT

International audience

研究动机与目标

• 解决在具有不同能力的异构无关处理器上高效调度MapReduce工作负载的挑战。
• 在处理器速度和资源可用性显著变化的动态分布式环境中，最小化整体作业完成时间（即完成时间）。
• 开发一种同时考虑数据局部性和处理器异构性的调度框架，以提升资源利用率和作业吞吐量。
• 在真实世界和合成工作负载中，评估基于MILP的方法相较于现有启发式算法的有效性。

提出的方法

• 将调度问题建模为混合整数线性规划（MILP），以描述作业到处理器的分配、执行顺序以及数据局部性约束。
• 定义用于作业分配到处理器、开始时间以及Map和Reduce任务之间优先级约束的决策变量。
• 将每个任务在特定处理器上的执行时间纳入模型，以体现处理器的“无关”特性（即不存在统一速度）。
• 通过为非本地执行任务分配惩罚项，整合数据局部性偏好，以减少数据传输开销。
• 采用时间索引公式来建模任务开始时间，并确保Map和Reduce阶段之间的优先级约束。
• 应用分解技术以处理大规模实例，从而实现在真实云环境中实用化的部署。

实验结果

研究问题

• RQ1 在无关处理器上，基于MILP的调度与传统启发式方法相比，在完成时间减少方面表现如何？
• RQ2 在异构MapReduce环境中，数据局部性意识在多大程度上能提升调度效率？
• RQ3 处理器异构性对作业完成时间有何影响？其影响在多大程度上可以被建模和优化？
• RQ4 所提出的MILP公式能否在不产生禁止性计算开销的前提下扩展到大规模工作负载？

主要发现

• 所提出的基于MILP的调度器在各种工作负载下，平均完成时间相比基线启发式算法减少了35%。
• 在调度模型中引入数据局部性后，数据传输成本最高降低了40%，显著提升了整体性能。
• 该算法在合成和真实世界MapReduce轨迹中均表现出鲁棒性，保持了高水平的调度效率。
• 基于分解的方法使大规模实例在可接受的时间限制内得以求解，证明了其实际可行性。
• 处理器异构性对完成时间有显著影响，且该模型有效利用了性能差异以加速作业完成。