[论文解读] On the inequality of the 3V's of Big Data Architectural Paradigms: A case for heterogeneity

Todor Ivanov, Nikolaos Korfiatis+1 more|arXiv (Cornell University)|Nov 4, 2013

Cloud Computing and Resource Management参考文献 56被引用 9

一句话总结

本文主张大数据的三大特征——体量（Volume）、多样性（Variety）与速度（Velocity）——在系统设计中并非同等重要，挑战了其等价性的假设。通过以异构性为视角分析Hadoop生态系统，作者提出架构选择必须针对工作负载特性，进而提出一种反映三大特征维度不同优先级的工具分类体系，最终主张应根据不同的数据处理需求，采用异构平台。

ABSTRACT

The well-known 3V architectural paradigm for Big Data introduced by Laney (2011), provides a simplified framework for defining the architecture of a big data platform to be deployed in various scenarios tackling processing of massive datasets. While additional components such as Variability and Veracity have been discussed as an extension to the 3V model, the basic components (volume, variety, velocity) provide a quantitative framework while variability and veracity target a more qualitative approach. In this paper we argue why the basic 3V's are not equal due to the different requirements that need to be covered in case higher demands for a particular "V". Similar to other conjectures such as the CAP theorem 3V based architectures differ on their implementation. We call this paradigm heterogeneity and we provide a taxonomy of the existing tools (as of 2013) covering the Hadoop ecosystem from the perspective of heterogeneity. This paper contributes on the understanding of the Hadoop ecosystem from the perspective of different workloads and aims to help researchers and practitioners on the design of scalable platforms targeting different operational needs.

研究动机与目标

• 挑战大数据三大特征（体量、多样性、速度）在系统设计中同等重要的假设。
• 证明不同工作负载对大数据平台施加了不同的需求，从而需要架构异构性。
• 基于2013年的Hadoop生态系统工具，提出一个反映其与特定特征维度对齐情况的分类体系。
• 为研究人员和实践者在设计可扩展、工作负载感知的大数据平台时提供指导。
• 通过强调三大特征在实现与系统行为方面存在不平等，拓展三特性模型。

提出的方法

• 分析2013年的Hadoop生态系统，识别出专门处理特定特征维度的工具与框架。
• 根据工具对体量、多样性或速度的支持程度进行分类，揭示其架构专业化特征。
• 运用异构性概念，描述不同工作负载下系统行为的差异。
• 类比CAP定理，说明基于三特性模型的架构中也存在类似分布式系统中的权衡。
• 应用定性框架评估工具如何应对三特性维度，重点关注操作需求与部署场景。
• 构建一个将工具映射至其主导特征维度的分类体系，突出架构上的差异。

实验结果

研究问题

• RQ1 为何大数据的三大特征在系统架构设计中并非同等重要？
• RQ2 不同工作负载如何导致大数据平台产生不同的架构需求？
• RQ3 现有Hadoop生态系统工具在体量、多样性与速度方面多大程度上体现出专业化特征？
• RQ4 架构异构性是否可作为大数据系统的一种可行设计原则？
• RQ5 三大特征之间的不平等如何影响大数据技术的选择与部署？

主要发现

• 三特性模型在实践中本质上是不平等的，因为不同工作负载对系统设计施加了不同且不可互换的需求。
• 大数据平台的架构选择并非统一；其差异显著取决于优先考虑的特征维度。
• Hadoop生态系统表现出明显的专业化特征，工具分别针对体量（如HDFS）、多样性（如Hive、Pig）与速度（如Storm、Samza）进行了优化。
• 架构异构性并非缺陷，而是必要特征，反映了大数据工作负载多样化操作需求的本质。
• 本文对Hadoop工具的分类体系证实，没有单一平台能同时最优地处理全部三大特征维度。
• 作者结论认为，‘一刀切’的三特性方法是不足的，平台选择必须以工作负载特定的优先级为导向。