[论文解读] Optimizing MapReduce for Highly Distributed Environments

Benjamin Heintz, Abhishek Chandra+1 more|arXiv (Cornell University)|Jul 30, 2012

Cloud Computing and Resource Management参考文献 23被引用 9

一句话总结

本文提出了一种模型驱动的端到端优化框架，用于在地理分布广泛的数据和计算资源高度分散的环境中执行MapReduce作业。通过联合优化多个阶段——推送、映射、洗牌和归约——该方法相比短视方法将执行时间减少了高达82%，并在真实世界测试中相比原生Hadoop实现了31–41%的性能提升。

ABSTRACT

MapReduce, the popular programming paradigm for large-scale data processing, has traditionally been deployed over tightly-coupled clusters where the data is already locally available. The assumption that the data and compute resources are available in a single central location, however, no longer holds for many emerging applications in commercial, scientific and social networking domains, where the data is generated in a geographically distributed manner. Further, the computational resources needed for carrying out the data analysis may be distributed across multiple data centers or community resources such as Grids. In this paper, we develop a modeling framework to capture MapReduce execution in a highly distributed environment comprising distributed data sources and distributed computational resources. This framework is flexible enough to capture several design choices and performance optimizations for MapReduce execution. We propose a model-driven optimization that has two key features: (i) it is end-to-end as opposed to myopic optimizations that may only make locally optimal but globally suboptimal decisions, and (ii) it can control multiple MapReduce phases to achieve low runtime, as opposed to single-phase optimizations that may control only individual phases. Our model results show that our optimization can provide nearly 82% and 64% reduction in execution time over myopic and single-phase optimizations, respectively. We have modified Hadoop to implement our model outputs, and using three different MapReduce applications over an 8-node emulated PlanetLab testbed, we show that our optimized Hadoop execution plan achieves 31-41% reduction in runtime over a vanilla Hadoop execution. Our model-driven optimization also provides several insights into the choice of techniques and execution parameters based on application and platform characteristics.

研究动机与目标

• 解决在数据和计算资源地理分散的高分布式环境中，高效执行MapReduce作业日益增长的需求。
• 识别传统MapReduce部署在现代大规模应用中的局限性，这些部署假设数据集中化且集群紧密耦合。
• 开发一种灵活的建模框架，以捕捉分布式环境下所有MapReduce阶段的关键设计选择与性能权衡。
• 提出一种端到端优化策略，考虑全局性能权衡而非局部的、阶段特定的决策。
• 基于应用和平台特性（如数据膨胀因子和网络异构性）提供关于执行参数和技术的可操作见解。

提出的方法

• 设计一种数据无关的、端到端的性能模型，以抽象化跨分布式数据源和计算节点的MapReduce执行。
• 将优化建模为对多个阶段（数据推送、映射、洗牌和归约）的联合控制问题，从而支持跨阶段的权衡分析。
• 引入一个数学模型，使用数据大小、网络延迟和计算能力等参数，以预测不同配置下的执行时间。
• 利用该模型识别最小化总执行时间的最优配置，包括流水线处理和资源分配策略。
• 在修改后的Hadoop发行版中实现模型输出，以在真实世界测试平台上验证性能提升。
• 利用包含8个节点的PlanetLab仿真测试平台，评估优化后的Hadoop执行计划在三种不同MapReduce应用上的表现。

实验结果

研究问题

• RQ1 与仅针对各阶段分别优化的短视方法相比，跨多个MapReduce阶段的端到端优化在减少执行时间方面表现如何？
• RQ2 网络异构性和数据分布对MapReduce性能优化有效性有何影响？
• RQ3 应用特定特性（如数据膨胀因子）如何影响最优执行计划？
• RQ4 与原生Hadoop相比，模型驱动的优化在分布式环境中能在多大程度上提升真实世界Hadoop的性能？
• RQ5 在不同平台和工作负载条件下，哪些系统参数和架构选择（如流水线处理、数据局部性、资源分配）最具影响力？

主要发现

• 所提出的端到端优化相比仅做局部最优决策的短视优化策略，将执行时间减少了高达82%。
• 在使用8个节点的PlanetLab测试平台对三种真实MapReduce应用进行评估时，基于模型的方法相比原生Hadoop实现了31–41%的运行时间减少。
• 在高度分布式、异构网络中，该优化带来了显著优势——在全球分布站点中相比短视方法提升82%，而在单个本地集群环境中仅提升37%。
• 数据膨胀因子α强烈影响最优执行计划，决定了哪些阶段对优化最敏感，以及流水线处理在何处能带来最大收益。
• 模型揭示，网络异构性增强了全局优化的价值，因为它能够更好地利用资源和数据分布模式。
• 该框架为参数选择（如最优数据分区和流水线调度）提供了可操作的见解，依据的是应用和基础设施特性。