[论文解读] Towards a unified query language for provenance and versioning

Amit Chavan, Silu Huang+4 more|arXiv (Cornell University)|Jun 16, 2015

Scientific Computing and Data Management参考文献 22被引用 6

一句话总结

本文提出 VQuel，一种用于在协作式数据科学工作流中查询版本化数据集及其血缘关系的统一查询语言。它支持基于图遍历的表达式查询，适用于分支版本历史和元组级血缘关系，能够实现 SQL 或现有血缘语言无法完成的复杂分析任务。

ABSTRACT

Organizations and teams collect and acquire data from various sources, such as social interactions, financial transactions, sensor data, and genome sequencers. Different teams in an organization as well as different data scientists within a team are interested in extracting a variety of insights which require combining and collaboratively analyzing datasets in diverse ways. DataHub is a system that aims to provide robust version control and provenance management for such a scenario. To be truly useful for collaborative data science, one also needs the ability to specify queries and analysis tasks over the versioning and the provenance information in a unified manner. In this paper, we present an initial design of our query language, called VQuel, that aims to support such unified querying over both types of information, as well as the intermediate and final results of analyses. We also discuss some of the key language design and implementation challenges moving forward.

研究动机与目标

• 解决协作式数据科学平台中版本控制与血缘关系查询缺乏统一查询语言的问题。
• 支持在大规模、异构数据集的分支版本图和元组级血缘关系上进行表达性查询。
• 使数据科学家能够高效分析数据集的演化过程、血缘关系以及跨版本的差异，而无需编写低级脚本。
• 设计一种统一框架，支持同时具备版本感知和血缘感知操作的查询语言。
• 为在压缩的版本化数据存储上高效执行和优化此类查询奠定基础。

提出的方法

• 设计 VQuel 作为受 Quel 和 GEM 等历史语言启发的查询语言，扩展了时间维度和图遍历结构。
• 引入范围和路径表达式以导航版本图，例如 'V.N(2)' 用于访问相隔两跳的版本。
• 通过类似图查询语言的结构，支持在版本派生图上进行路径查询和递归遍历。
• 通过 'count(V.Relations.Tuples)' 和 'abs(diff)' 等表达式，支持跨版本的聚合与比较操作。
• 通过 'parents' 和 'id' 连接操作支持元组级血缘查询，实现从派生元组到源元组的血缘追踪。
• 提出混合执行策略：首先通过元数据和版本图筛选相关版本，然后在选定版本上重建并执行查询。

实验结果

研究问题

• RQ1 如何高效表达对结构化数据集分支版本历史的复杂操作的查询语言？
• RQ2 在协作式数据科学中，统一版本控制与血缘关系查询所需的语言结构是什么？
• RQ3 如何在不完全重建版本的情况下，高效执行对大量重叠数据集版本的查询？
• RQ4 在版本化数据系统中，存储压缩与查询性能之间的权衡是什么？
• RQ5 如何将元组级血缘关系集成到高级查询语言中，以支持交互式数据分析？

主要发现

• VQuel 支持对版本化数据集进行表达性、基于图遍历的查询，例如查找在指定提交数范围内的版本，或比较不同版本的元组数量。
• 该语言支持路径查询和血缘追踪，允许用户通过递归的父级关系追溯元组的原始来源。
• 诸如 '在 v01 的两步提交范围内查找员工少于 100 人的所有版本' 等查询可用简洁且易读的形式表达。
• 本文指出，对重建版本进行的朴素查询执行在计算上开销巨大，尤其在存在大量重叠版本时更为明显。
• 一个关键挑战是开发可直接在压缩表示上运行的执行技术，以避免完全重建的开销。
• 作者提出两阶段执行模型：首先利用元数据筛选相关版本，然后在重建版本上执行查询；然而，高效的压缩感知执行仍是开放的研究问题。