[论文解读] Past, Present and Future of Hadoop: A Survey

Ameneh Zarei, Shahla Safari+2 more|arXiv (Cornell University)|Feb 27, 2022

Cloud Computing and Resource Management被引用 6

一句话总结

本综述审视了Hadoop从创立至今的演进历程及其在当前应用与未来前景中的角色，重点关注其核心组件——用于分布式存储的HDFS和用于并行数据处理的MapReduce。它强调了Hadoop在可扩展性、容错性以及使用通用硬件方面的优势，展示了其在各类工作负载和现代化架构中实现高效大数据分析的关键作用。

ABSTRACT

In this paper, a technology for massive data storage and computing named Hadoop is surveyed. Hadoop consists of heterogeneous computing devices like regular PCs abstracting away the details of parallel processing and developers can just concentrate on their computational problem. A Hadoop cluster is made of two parts: HDFs and Mapreduce. Hadoop cluster uses HDFS for data management. HDFS provides storage for input and output data in MapReduce jobs and is designed with abilities like high-fault tolerance, high-distribution capacity, and high throughput. It is also suitable for storing Terabyte data on clusters and it runs on flexible hardware like commodity devices.

研究动机与目标

• 提供Hadoop架构演进与基础技术的全面概述。
• 分析Hadoop如何利用通用硬件实现可扩展、容错的大数据处理。
• 考察Hadoop在现代数据处理流水线与云环境中的当前状态。
• 探讨在不断演进的大数据工作负载与技术背景下，Hadoop的新兴趋势与未来发展方向。

提出的方法

• 基于综述的Hadoop核心组件分析：Hadoop分布式文件系统（HDFS）与MapReduce。
• 研究Hadoop的设计原则，包括容错性、高吞吐量以及对TB级数据的支持。
• 回顾Hadoop在通用硬件上的部署情况，及其对底层并行处理细节的抽象能力。
• 分析Hadoop的可扩展性及其与现代数据处理框架和云平台的集成能力。
• 评估Hadoop在分布式计算环境中的性能特征与可靠性。
• 基于学术与产业发展的趋势，综合分析Hadoop的采用情况、功能增强以及未来研究方向。

实验结果

研究问题

• RQ1 自Hadoop最初发布以来，其在架构与组件设计方面经历了怎样的演进？
• RQ2 哪些关键技术特征使Hadoop能够支持容错、高吞吐量的数据处理？
• RQ3 Hadoop如何利用通用硬件实现可扩展的存储与计算能力？
• RQ4 在现代数据处理工作负载中，Hadoop面临的主要挑战与局限性是什么？
• RQ5 在不断演进的大数据工作负载与技术背景下，Hadoop下一代系统的发展趋势与增强方向有哪些？

主要发现

• Hadoop的HDFS能够为跨集群的大规模数据存储与管理提供高容错性与高吞吐量。
• MapReduce通过抽象底层并行处理细节，使开发人员能够专注于计算逻辑。
• Hadoop集群基于通用硬件构建，使其在TB级数据工作负载中具备成本效益与可扩展性。
• 存储（HDFS）与计算（MapReduce）的分离设计，使得数据处理流水线更加灵活高效。
• 由于其可扩展性以及与云环境和流处理框架的集成能力，Hadoop在现代数据生态系统中依然具有重要价值。
• 未来Hadoop的发展预计将聚焦于性能提升、实时处理支持以及与AI/ML工作负载的更紧密集成。