[论文解读] OLA-RAW: Scalable Exploration over Raw Data

Yu Cheng, Weijie Zhao+1 more|arXiv (Cornell University)|Feb 1, 2017

Advanced Database Systems and Queries参考文献 36被引用 3

一句话总结

OLA-RAW 引入了一种查询驱动的双层采样方案，用于在原始数据上进行并行在线聚合，实现了无需数据重组的快速、准确估计。通过在查询执行过程中逐步构建内存驻留的采样摘要，它降低了 I/O 和 CPU 成本，在保证未兴趣查询能准确提前终止的同时，性能相比外部表和分块级采样最高提升了 10 倍。

ABSTRACT

In-situ processing has been proposed as a novel data exploration solution in many domains generating massive amounts of raw data, e.g., astronomy, since it provides immediate SQL querying over raw files. The performance of in-situ processing across a query workload is, however, limited by the speed of full scan, tokenizing, and parsing of the entire data. Online aggregation (OLA) has been introduced as an efficient method for data exploration that identifies uninteresting patterns faster by continuously estimating the result of a computation during the actual processing---the computation can be stopped as early as the estimate is accurate enough to be deemed uninteresting. However, existing OLA solutions have a high upfront cost of randomly shuffling and/or sampling the data. In this paper, we present OLA-RAW, a bi-level sampling scheme for parallel online aggregation over raw data. Sampling in OLA-RAW is query-driven and performed exclusively in-situ during the runtime query execution, without data reorganization. This is realized by a novel resource-aware bi-level sampling algorithm that processes data in random chunks concurrently and determines adaptively the number of sampled tuples inside a chunk. In order to avoid the cost of repetitive conversion from raw data, OLA-RAW builds and maintains a memory-resident bi-level sample synopsis incrementally. We implement OLA-RAW inside a modern in-situ data processing system and evaluate its performance across several real and synthetic datasets and file formats. Our results show that OLA-RAW chooses the sampling plan that minimizes the execution time and guarantees the required accuracy for each query in a given workload. The end result is a focused data exploration process that avoids unnecessary work and discards uninteresting data.

研究动机与目标

• 解决传统在位数据处理的低效问题，其需要完整扫描，即使对于无意义的查询也会产生高昂的 I/O 和 CPU 成本。
• 克服现有在线聚合（OLA）系统存在的局限性，这些系统由于查询执行前的数据重排或采样而产生高昂的前期成本。
• 通过在运行时提供准确且带有置信区间的聚合估计，实现在不进行数据重组的情况下对无意义查询进行提前终止。
• 设计一种可扩展的并行在线聚合框架，能够直接从原始数据文件中逐步维护双层采样摘要。
• 在保证每个查询所需准确性的前提下，最小化执行时间，将探索重点集中在潜在有趣的资料上。

提出的方法

• OLA-RAW 采用了一种新颖的资源感知双层采样算法，在查询执行期间并行处理以随机分块形式组织的数据。
• 它根据资源可用性和查询需求，自适应地确定每个分块中采样的元组数量。
• 系统逐步构建并维护一个内存驻留的双层采样摘要，以避免从原始数据格式重复转换。
• 采样操作完全在查询执行过程中原位进行，无需数据重组或预处理。
• 该方法采用双层伯努利采样策略，避免了检查悖论，并支持对聚合估计的准确置信区间。
• OLA-RAW 与现代在位数据处理系统集成，支持直接在原始文件（如 FITS 和其他平面文件格式）上执行 SQL 查询。

实验结果

研究问题

• RQ1 是否可以在不进行数据重组或前期采样的前提下，使原始数据上的在线聚合实现可扩展且高效？
• RQ2 如何将双层采样适配到在位查询执行中，以最小化 I/O 和 CPU 开销？
• RQ3 是否可以在查询执行过程中逐步维护一个内存驻留的采样摘要，从而避免重复解析原始数据格式？
• RQ4 与传统外部表和分块级采样相比，查询驱动的在位双层采样能带来多大的性能提升？
• RQ5 OLA-RAW 在保证所需准确性的前提下，能在多大程度上实现对无意义查询的提前终止？

主要发现

• 在真实和合成数据集上，OLA-RAW 相较于外部表和分块级采样，执行时间最高降低 10 倍。
• 系统能够实现准确的聚合估计，并提供置信区间，使在结果无意义时可正确实现提前终止。
• 通过逐步维护内存驻留的双层采样摘要，OLA-RAW 避免了从原始格式重复转换数据的成本。
• 查询驱动的采样策略支持聚焦的数据探索，能早期丢弃无意义数据，减少不必要的计算。
• OLA-RAW 通过消除昂贵的前期数据重排或采样，优于现有 OLA 解决方案，适用于大规模原始数据探索。
• 该方法在多种文件格式（包括 FITS）上均表现有效，并在并行查询执行环境中具有良好的可扩展性。