[论文解读] The Anatomy of Big Data Computing

Raghavendra Kune, Pramod Kumar Konugurthi+3 more|arXiv (Cornell University)|Sep 4, 2015

Big Data Technologies and Applications参考文献 33被引用 4

一句话总结

本文提出了一套全面的分类法与分层架构，用于大数据计算，将云基础设施整合进大数据云，以应对可扩展性和性能挑战。它概述了核心组件、技术与工作负载，同时识别出在分布式环境中数据管理、处理与分析方面的开放性挑战，为大规模数据分析的未来研究与系统设计提供了基础框架。

ABSTRACT

Advances in information technology and its widespread growth in several areas of business, engineering, medical and scientific studies are resulting in information/data explosion. Knowledge discovery and decision making from such rapidly growing voluminous data is a challenging task in terms of data organization and processing, which is an emerging trend known as Big Data Computing; a new paradigm which combines large scale compute, new data intensive techniques and mathematical models to build data analytics. Big Data computing demands a huge storage and computing for data curation and processing that could be delivered from on-premise or clouds infrastructures. This paper discusses the evolution of Big Data computing, differences between traditional data warehousing and Big Data, taxonomy of Big Data computing and underpinning technologies, integrated platform of Big Data and Clouds known as Big Data Clouds, layered architecture and components of Big Data Cloud and finally discusses open technical challenges and future directions.

研究动机与目标

• 分析大数据计算与传统数据仓库相比的演进过程及其显著特征。
• 定义大数据计算的分类法，包括数据类型、处理模式与工作负载。
• 提出一种整合大数据与云计算的平台，称为大数据云。
• 概述大数据云的分层架构模型，详细说明各组件及其交互方式。
• 识别在可扩展数据处理与分析方面存在的开放性技术挑战及未来研究方向。

提出的方法

• 本文对传统数据仓库与大数据计算进行了对比分析，突出其在数据量、数据速度、数据多样性及处理范式方面的差异。
• 基于数据类型（结构化、半结构化、非结构化）、处理模式（批处理、流处理、交互式处理）和工作负载（分析、机器学习、ETL）提出了一套大数据计算的分类法。
• 作者提出了大数据云的概念，作为一种将云基础设施与大数据技术相结合的集成平台，以实现弹性、可扩展的数据处理。
• 定义了大数据云的五层架构：（1）数据摄取，（2）数据存储，（3）数据处理，（4）数据分析，（5）应用接口。
• 评估了Hadoop、Spark、NoSQL数据库以及云平台（如AWS、OpenStack）等基础技术，分析其在各架构层中的角色。
• 综合现有研究与行业实践，识别出在数据管理、容错性及实时处理方面持续存在的技术挑战。

实验结果

研究问题

• RQ1 在数据特征与处理需求方面，大数据计算与传统数据仓库在本质上有哪些根本性差异？
• RQ2 构成可扩展大数据云平台的关键组件与架构层级有哪些？
• RQ3 哪些核心技术与数学模型能够实现大数据系统中高效的数据管理与分析？
• RQ4 在分布式大数据环境中，实现高性能、容错性与实时数据处理的主要开放性挑战是什么？
• RQ5 为推进大数据与云计算的集成，未来需要哪些研究方向？

主要发现

• 本文确立了大数据计算以高数据量、高速度与多样化为特征，需要超越传统数据仓库的新处理模型。
• 所提出的的大数据云平台通过整合云基础设施与大数据框架，实现了动态资源分配与弹性扩展。
• 五层架构有效组织了大数据系统组件，从数据摄取到应用暴露实现了清晰的职责分离。
• Hadoop与Spark分别被识别为批处理与实时处理的基础技术，而NoSQL数据库则支持灵活的模式处理。
• 开放性挑战包括高效的数据管理、分布式环境中的容错性，以及流式工作负载的低延迟处理。
• 研究结论指出，未来的发展必须聚焦于优化数据分析管道、提升互操作性，并增强大数据系统中的安全与隐私保护。