[论文解读] Version 0.1 of the BigDAWG Polystore System

Vijay Gadepally, Kyle O’Brien+8 more|arXiv (Cornell University)|Jul 3, 2017

Scientific Computing and Data Management参考文献 19被引用 9

一句话总结

本文提出 BigDAWG v0.1，一个开源的多存储库数据库系统，通过中间件层集成异构存储引擎——PostgreSQL、Accumulo 和 SciDB，支持跨引擎查询与数据迁移。该系统通过将数据路由至针对特定工作负载优化的引擎，实现了显著的性能提升，复杂跨岛操作的查询开销仅为约10%。

ABSTRACT

A polystore system is a database management system (DBMS) composed of integrated heterogeneous database engines and multiple programming languages. By matching data to the storage engine best suited to its needs, complex analytics run faster and flexible storage choices helps improve data organization. BigDAWG (Big Data Working Group) is our reference implementation of a polystore system. In this paper, we describe the current BigDAWG software release which supports PostgreSQL, Accumulo and SciDB. We describe the overall architecture, API and initial results of applying BigDAWG to the MIMIC II medical dataset.

研究动机与目标

• 解决单数据库系统在处理关系型、数组型和文本型等多样化数据类型时的局限性。
• 通过在单一查询接口下统一多个异构存储引擎，克服联邦数据库系统的可扩展性与复杂性问题。
• 通过包含优化器、监控器、执行器和迁移器组件的中间件层，实现高效的跨引擎数据移动与查询执行。
• 通过使用 MIMIC-II 数据集在真实医疗数据上的实验，证明该系统的可行性和性能表现。
• 以 BSD-3 许可证发布开源版本，以支持多存储库数据库系统的研究与开发。

提出的方法

• 将 BigDAWG 架构设计为四层系统：存储引擎、岛屿（按数据模型逻辑分组的引擎）、中间件（优化器、监控器、执行器、迁移器）以及应用层。
• 使用“岛屿”抽象并统一访问异构存储引擎，实现位置透明性与语义完整性。
• 将“转换”作为一等语言构造（例如，bdcast、bdrel、bdarray）实现，用于表达岛屿之间的数据迁移与模式转换。
• 利用适配层将高层 BigDAWG 查询转换为原生查询语言（例如，PostgreSQL 的 SQL，SciDB 的数组 DML）。
• 使用查询优化器生成可行的执行计划树，使用监控器基于历史性能数据选择最优引擎。
• 通过迁移器组件实现跨岛屿数据移动，负责网络分发、格式转换与数据传输。

实验结果

研究问题

• RQ1 多存储库系统如何在最小化性能开销的前提下，高效管理与查询异构数据存储？
• RQ2 在多存储库架构中，跨引擎数据迁移与远程查询执行的相对性能成本是多少？
• RQ3 像 BigDAWG 这样的多存储库系统在复杂、多模型工作负载上，相较于单体或联邦系统，能在多大程度上提升查询性能？
• RQ4 系统的中间件层如何在保持位置透明性的同时，充分挖掘每个存储引擎的语义能力？
• RQ5 涉及数据格式转换与网络 I/O 的跨岛屿查询的实际性能特征是什么？

主要发现

• BigDAWG v0.1 成功将 PostgreSQL、Accumulo 和 SciDB 集成为一个统一的多存储库系统，提供统一的 API 与查询接口。
• 系统在查询优化与执行方面的开销约占总执行时间的 10%，表明复杂查询的运行时成本较低。
• 涉及不同存储引擎之间（例如关系型到数组型）数据迁移的跨岛屿查询，消耗了约 75% 的总执行时间，主要由于网络 I/O、远程过程调用与数据传输。
• 同一岛屿内引擎之间的迁移（例如，两个关系型数据库之间）显著更快，因为使用了原生数据传输例程，凸显了岛屿内语义同质性的性能优势。
• 需要在岛屿之间移动数据的查询相比单引擎查询具有更高的延迟，但使用各数据类型最优引擎所带来的性能增益足以抵消该开销。
• 该系统表明，使用多个经过优化的存储引擎可使复杂分析任务的性能提升达数个数量级，如先前使用 MIMIC-II 数据集的研究结果所示。