[论文解读] The Improved Job Scheduling Algorithm of Hadoop Platform

Y. Jay Guo, Linzhi Wu+3 more|arXiv (Cornell University)|Jun 9, 2015

Cloud Computing and Resource Management参考文献 3被引用 6

一句话总结

本文提出了一种基于贝叶斯分类的Hadoop作业调度算法，该算法根据资源使用特征（如CPU和内存利用率）将作业分类为'良好'或'不良'，并动态选择最优作业进行执行。通过利用任务执行结果的反馈，该算法通过自适应学习提高调度效率和稳定性，减少分布式环境中的作业完成时间和资源竞争。

ABSTRACT

This paper discussed some job scheduling algorithms for Hadoop platform, and proposed a jobs scheduling optimization algorithm based on Bayes Classification viewing the shortcoming of those algorithms which are used. The proposed algorithm can be summarized as follows. In the scheduling algorithm based on Bayes Classification, the jobs in job queue will be classified into bad job and good job by Bayes Classification, when JobTracker gets task request, it will select a good job from job queue, and select tasks from good job to allocate JobTracker, then the execution result will feedback to the JobTracker. Therefore the scheduling algorithm based on Bayes Classification influence the job classification via learning the result of feedback with the JobTracker will select the most appropriate job to execute on TaskTracker every time. We need to consider the feature usage of job resource and the influence of TaskTracker resource on task execution, the former of which we call it job feature, for instance, the average usage rate of CPU and average usage rate of memory, the latter node feature, such as the usage rate of CPU and the size of idle physical memory, the two are called feature variables. Results show that it has a significant improvement in execution efficiency and stability of job scheduling.

研究动机与目标

• 解决传统Hadoop作业调度算法缺乏自适应学习和资源感知决策的问题。
• 通过使用贝叶斯分类将作业分类为'良好'和'不良'类别，提升作业调度性能。
• 通过将任务执行结果的反馈融入调度决策，提升系统稳定性和执行效率。
• 将作业和TaskTracker的资源特征（如CPU和内存使用）建模为智能调度的输入变量。
• 通过动态、数据驱动的作业选择，减少作业完成时间和资源竞争。

提出的方法

• 基于历史资源使用模式，使用贝叶斯分类将队列中的作业分类为'良好'或'不良'。
• 特征变量包括作业特征（如平均CPU和内存使用率）和节点特征（如TaskTrackers上的空闲内存和CPU使用率）。
• JobTracker利用先前任务执行的反馈来更新分类模型，并随时间推移优化作业选择。
• 该算法仅选择'良好'作业进行调度，优先选择资源利用率表现良好的作业。
• 系统持续从执行结果中学习，以改进未来的调度决策，提升适应能力。
• 调度过程整合了作业级和节点级的资源特性，以优化任务分配。

实验结果

研究问题

• RQ1 如何改进Hadoop中的作业调度以减少作业完成时间和资源竞争？
• RQ2 基于资源使用特征，贝叶斯分类能否有效预测作业性能？
• RQ3 任务执行结果的反馈在多大程度上影响作业调度的准确性和效率？
• RQ4 哪些作业和节点特征变量的组合最能预测调度成功？
• RQ5 自适应学习在分布式Hadoop环境中在多大程度上提升了调度的稳定性和效率？

主要发现

• 所提出的算法通过基于贝叶斯分类识别出的'良好'作业优先调度，显著提升了作业调度效率。
• 由于基于历史性能的智能作业选择，系统稳定性得到增强，资源竞争减少。
• 任务执行结果的反馈使系统能够持续学习，从而随时间推移提高分类准确性。
• 整合作业和节点资源特征（如CPU和内存使用）可带来更精确的调度决策。
• 该算法在执行效率方面表现出可测量的改进，尽管摘要中未提供具体的数值指标（如完成时间减少的百分比）。