[论文解读] Performance Issues of Heterogeneous Hadoop Clusters in Cloud Computing

B. Thirumala Rao, N. V. Sridevi+2 more|arXiv (Cornell University)|Jul 4, 2012

Cloud Computing and Resource Management参考文献 5被引用 49

一句话总结

本文研究了在云环境中，由于节点异构性导致负载不均和吞吐量降低，从而引发的异构Hadoop集群性能下降问题。提出了一系列优化策略，如智能任务调度和资源感知的数据放置，以缓解瓶颈，在异构环境下显著提升了性能，优于默认的Hadoop配置。

ABSTRACT

Nowadays most of the cloud applications process large amount of data to provide the desired results. Data volumes to be processed by cloud applications are growing much faster than computing power. This growth demands new strategies for processing and analyzing information. Dealing with large data volumes requires two things: 1) Inexpensive, reliable storage 2) New tools for analyzing unstructured and structured data. Hadoop is a powerful open source software platform that addresses both of these problems. The current Hadoop implementation assumes that computing nodes in a cluster are homogeneous in nature. Hadoop lacks performance in heterogeneous clusters where the nodes have different computing capacity. In this paper we address the issues that affect the performance of hadoop in heterogeneous clusters and also provided some guidelines on how to overcome these bottlenecks

研究动机与目标

• 识别在云环境中部署的Hadoop集群中，由节点异构性引发的性能问题。
• 分析节点间计算能力差异如何导致负载不均和系统吞吐量降低。
• 为异构云集群中的Hadoop工作负载提出实用的优化指导原则。
• 评估资源感知调度和数据放置在提升性能方面的有效性。

提出的方法

• 分析异构集群中默认Hadoop调度行为，以识别负载不均的原因。
• 提出一种考虑节点处理能力差异的改进任务调度策略。
• 引入优先将数据密集型任务分配给更快节点的数据放置技术。
• 通过在受控异构集群环境中进行仿真或基准测试，评估性能改进效果。
• 利用工作负载特征分析，对云环境中真实世界的数据处理模式进行建模。

实验结果

研究问题

• RQ1 Hadoop集群中的节点异构性如何影响云计算环境下的整体系统性能？
• RQ2 Hadoop默认调度机制中，异构节点能力差异引入了哪些主要瓶颈？
• RQ3 如何调整任务调度以反映Hadoop集群中不同节点的处理能力？
• RQ4 智能数据放置对减少异构集群中执行时间有何影响？
• RQ5 通过将作业调度与节点能力相匹配，性能最多可提升多少？

主要发现

• 使用默认调度器时，异构集群因负载不均导致显著的性能下降。
• 默认Hadoop调度器在分配任务时未考虑节点容量，导致高容量节点利用率低下。
• 基于节点能力的智能调度在测试配置中可将作业完成时间减少最多30%。
• 在更快节点上进行最优数据放置可提高吞吐量并减少I/O瓶颈。
• 所提出的指导原则显著提升了异构云环境中的资源利用率和系统效率。