[论文解读] The Family of MapReduce and Large Scale Data Processing Systems

Sherif Sakr, Anna Liu+1 more|arXiv (Cornell University)|Feb 13, 2013

Cloud Computing and Resource Management参考文献 81被引用 7

一句话总结

本文综述了MapReduce及大规模数据处理系统的演进与生态系统，分析了原始MapReduce模型如何催生了一类可扩展、容错的框架，用于处理大数据。文章探讨了其扩展机制、声明式接口以及领域特定系统（如Dremel和Pregel），结论指出，尽管MapReduce仍是基础性模型，但未来系统必须解决表达能力、性能与可用性问题，以应对真实世界的大数据工作负载。

ABSTRACT

In the last two decades, the continuous increase of computational power has produced an overwhelming flow of data which has called for a paradigm shift in the computing architecture and large scale data processing mechanisms. MapReduce is a simple and powerful programming model that enables easy development of scalable parallel applications to process vast amounts of data on large clusters of commodity machines. It isolates the application from the details of running a distributed program such as issues on data distribution, scheduling and fault tolerance. However, the original implementation of the MapReduce framework had some limitations that have been tackled by many research efforts in several followup works after its introduction. This article provides a comprehensive survey for a family of approaches and mechanisms of large scale data processing mechanisms that have been implemented based on the original idea of the MapReduce framework and are currently gaining a lot of momentum in both research and industrial communities. We also cover a set of introduced systems that have been implemented to provide declarative programming interfaces on top of the MapReduce framework. In addition, we review several large scale data processing systems that resemble some of the ideas of the MapReduce framework for different purposes and application scenarios. Finally, we discuss some of the future research directions for implementing the next generation of MapReduce-like solutions.

研究动机与目标

• 提供对从原始MapReduce编程模型衍生出的系统与框架的全面综述。
• 分析原始MapReduce框架的局限性，以及后续系统如何应对这些局限。
• 研究构建在MapReduce之上的声明式接口，以提升数据处理的易用性。
• 探索受MapReduce原则启发的领域特定大规模数据处理系统。
• 识别下一代大数据系统的关键研究挑战与未来发展方向。

提出的方法

• 系统性地调研基于MapReduce的系统，包括Hadoop等开源实现及商业衍生产品。
• 根据其编程模型、数据模型支持（如嵌套、层次化、图结构）以及部署模型对系统进行分类。
• 分析声明式查询语言（如ASTERIX的AQL和Jaql），这些语言为Hadoop数据提供类似SQL的接口。
• 评估领域特定系统，如Dremel（用于嵌套数据）、Pregel（用于图处理）和Storm（用于流处理）。
• 对比MapReduce及其后续系统在表达能力、容错性与可扩展性方面的架构与语义差异。
• 识别当前系统中的不足之处，如调试支持有限、能效低下，以及对复杂数据模型（如XML、RDF和图）支持不足。

实验结果

研究问题

• RQ1 原始MapReduce模型如何启发了一类大规模数据处理系统？
• RQ2 原始MapReduce框架的关键局限性是什么，这些局限性如何促使后续系统的开发？
• RQ3 声明式接口（如AQL和Jaql）如何通过抽象低级MapReduce逻辑，提升对低级MapReduce编程的可用性？
• RQ4 领域特定系统（如Dremel、Pregel和Storm）在多大程度上扩展或偏离了MapReduce范式？
• RQ5 下一代大数据处理系统在超越MapReduce之后，面临哪些关键研究挑战？

主要发现

• MapReduce仍是大规模数据处理的基础性模型，Hadoop在工业界与学术界均得到广泛应用。
• 声明式接口（如AQL和Jaql）通过抽象低级MapReduce逻辑，使数据操作更简便，显著提升了开发人员生产力。
• 领域特定系统（如Dremel和BigQuery）支持对嵌套数据的交互式分析，克服了MapReduce在查询延迟与表达能力方面的局限。
• 图处理系统（如Pregel及其开源实现Giraph、Hama）证明了BSP模型在可扩展图分析中的可行性。
• 流处理系统（如Storm）支持实时数据处理，将MapReduce的批处理模型扩展至持续数据工作负载。
• 尽管已有进展，但调试分布式计算、能效优化，以及在MapReduce范式内原生支持复杂数据模型（如XML、RDF和图）等问题仍待解决。