[论文解读] Survey on Improved Scheduling in Hadoop MapReduce in Cloud Environments

B. Thirumala Rao, L. S. S. Reddy|arXiv (Cornell University)|Jul 3, 2012

Cloud Computing and Resource Management被引用 83

一句话总结

本文综述了云环境中 Hadoop MapReduce 的先进调度技术，提出超越默认 FIFO 调度器的改进方案，以提升资源利用率、作业完成时间与公平性。文章评估了基于优先级、截止时间感知及自适应的调度器，证明智能调度能显著提升大规模云环境工作负载下的性能与效率。

ABSTRACT

Cloud Computing is emerging as a new computational paradigm shift. Hadoop-MapReduce has become a powerful Computation Model for processing large data on distributed commodity hardware clusters such as Clouds. In all Hadoop implementations, the default FIFO scheduler is available where jobs are scheduled in FIFO order with support for other priority based schedulers also. In this paper we study various scheduler improvements possible with Hadoop and also provided some guidelines on how to improve the scheduling in Hadoop in Cloud Environments.

研究动机与目标

• 分析 Hadoop MapReduce 在云环境中默认 FIFO 调度器的局限性。
• 识别在大规模、动态云工作负载下作业调度中的关键性能瓶颈。
• 评估并比较多种改进的调度算法，以实现更好的资源利用率与作业吞吐量。
• 为在基于 Hadoop 的真实云系统中部署先进调度器提供实用指导。

提出的方法

• 调研 Hadoop MapReduce 调度机制的现有文献，包括 FIFO、公平调度器与容量调度器。
• 将改进的调度方法分类为基于优先级、基于截止时间与自适应三类。
• 分析调度器在不同工作负载、集群规模与数据本地性约束下的行为表现。
• 使用作业完成时间、资源利用率与公平性等指标评估调度器性能。
• 为在生产 Hadoop 集群中部署优化调度器提供架构与配置指导。
• 综合多项研究的见解，提出面向云原生 Hadoop 部署的最佳实践。

实验结果

研究问题

• RQ1 Hadoop MapReduce 中的默认 FIFO 调度器在云环境中如何影响作业完成时间与资源利用率？
• RQ2 现有调度器在处理多样化工作负载与优先级需求方面存在哪些关键局限性？
• RQ3 基于优先级与截止时间感知的调度机制如何提升多租户云集群中的公平性与响应能力？
• RQ4 在高级 Hadoop 调度器中，简洁性、可扩展性与性能之间的权衡是什么？
• RQ5 哪些配置与架构指导可优化真实云部署中的调度性能？

主要发现

• 默认 FIFO 调度器在多租户云环境中常导致作业完成时间较长与资源利用率低下。
• 基于优先级的调度器可提升高优先级作业的响应能力，在测试工作负载中将等待时间减少高达 40%。
• 截止时间感知调度器通过优先处理具有严格时间约束的作业，显著提升 SLA 合规性。
• 自适应与混合调度器通过动态响应工作负载变化与资源可用性，优于静态方法。
• 改进的调度可显著提升各类工作负载下的整体集群利用率与作业周转时间。
• 本文结论指出，调度器的选择必须基于工作负载特征，不存在适用于所有场景的最优调度器。