[论文解读] Scalable Data Cube Analysis over Big Data

Zhengkui Wang, Yan Chu+4 more|arXiv (Cornell University)|Nov 22, 2013

Advanced Database Systems and Queries参考文献 27被引用 13

一句话总结

该论文提出 HaCube，一种可扩展的 MapReduce 扩展，用于在大规模数据上高效进行数据立方体分析，结合了 MapReduce 的可扩展性与并行 DBMS 的效率。它引入了一种新型的批量立方体算法（CubeGen）和一种新的计算范式（MMRR），实现了负载均衡、增量式及可重新计算的视图维护，相较于 Hadoop 在包含数十亿元组的大规模 TPC-D 工作负载上实现了 1.6x–2.8x 的加速。

ABSTRACT

Data cubes are widely used as a powerful tool to provide multidimensional views in data warehousing and On-Line Analytical Processing (OLAP). However, with increasing data sizes, it is becoming computationally expensive to perform data cube analysis. The problem is exacerbated by the demand of supporting more complicated aggregate functions (e.g. CORRELATION, Statistical Analysis) as well as supporting frequent view updates in data cubes. This calls for new scalable and efficient data cube analysis systems. In this paper, we introduce HaCube, an extension of MapReduce, designed for efficient parallel data cube analysis on large-scale data by taking advantages from both MapReduce (in terms of scalability) and parallel DBMS (in terms of efficiency). We also provide a general data cube materialization algorithm which is able to facilitate the features in MapReduce-like systems towards an efficient data cube computation. Furthermore, we demonstrate how HaCube supports view maintenance through either incremental computation (e.g. used for SUM or COUNT) or recomputation (e.g. used for MEDIAN or CORRELATION). We implement HaCube by extending Hadoop and evaluate it based on the TPC-D benchmark over billions of tuples on a cluster with over 320 cores. The experimental results demonstrate the efficiency, scalability and practicality of HaCube for cube analysis over a large amount of data in a distributed environment.

研究动机与目标

• 为应对在大规模数据上进行数据立方体分析带来的日益增长的计算负担，特别是针对复杂聚合函数和频繁更新的场景。
• 设计一种可扩展且高效的系统，结合 MapReduce（可扩展性）与并行 DBMS（效率）的优势，以支持 OLAP 工作负载。
• 在分布式、追加只读的环境中，实现高效的数据立方体物化与视图维护，尤其适用于高频更新场景。
• 通过智能的立方体片批处理与负载均衡策略，最小化基于 MapReduce 的立方体处理中的 I/O 与数据交换开销。
• 支持多种聚合函数（包括复杂统计运算）的增量式与重新计算式视图维护机制。

提出的方法

• 扩展 MapReduce，引入一种名为 MMRR（MAP-MERGE-REDUCE-REFRESH）的新计算范式，以支持高效的数据立方体处理。
• 提出一种通用的立方体算法 CubeGen，通过基于前缀排序对立方体片进行分组，以最小化数据交换开销，并支持部分计算的重用。
• 采用本地存储机制缓存中间数据，以提升数据局部性并减少 I/O，尤其适用于迭代或增量操作。
• 采用基于前缀顺序对立方体片进行分区并分发至 reducer 的负载均衡策略，以平衡计算负载。
• 通过两种模式支持视图维护：对代数聚合函数（如 SUM、COUNT）采用增量计算；对非代数函数（如 MEDIAN、CORRELATION）采用重新计算。
• 扩展 Hadoop 以实现 HaCube，支持与现有大数据流水线的集成，并利用 HDFS 实现分布式存储。

实验结果

研究问题

• RQ1 在 Hadoop 等大规模分布式环境中，如何高效地并行化数据立方体物化？
• RQ2 是否可以在 MapReduce 中将立方体片批量处理以减少 I/O 与数据交换开销？
• RQ3 在立方体计算过程中，如何在 reducer 之间实现负载均衡，以避免热点并确保可扩展性？
• RQ4 在追加只读数据仓库系统中，哪些机制能够实现高效且可扩展的视图维护以应对频繁更新？
• RQ5 结合增量计算与重新计算策略的混合方法，是否能够支持分布式立方体系统中多样化的聚合函数（如统计函数）？

主要发现

• 在大规模数据集上，HaCube 相较于朴素的 MapReduce 实现，数据立方体物化性能提升了 1.6x 至 2.2x。
• 在视图维护方面，HaCube 相较于标准 Hadoop 性能提升 2.2x 至 2.8x，表明在增量与重新计算场景下均具有显著性能优势。
• 系统在节点数从 10 增加到 20 时表现出线性可扩展性，当资源加倍时执行时间减半，表明具备强大的水平可扩展性。
• 超过 20 个节点后，由于框架初始化开销的增加，额外并行性的收益略有下降，但性能仍保持稳定高效。
• CubeGen 基于前缀排序的分组策略通过支持高效排序与部分计算重用，显著减少了数据交换与读取开销。
• HaCube 中的本地存储机制通过避免从 HDFS 冗余重加载与重洗牌数据，显著提升了性能，尤其在迭代或增量工作流中优势明显。