[论文解读] SPARQL query processing with Apache Spark

Hubert Naacke, Olivier Curé+1 more|arXiv (Cornell University)|Apr 29, 2016

Graph Theory and Algorithms参考文献 27被引用 13

一句话总结

本文提出并评估了五种基于 Apache Spark 的 SPARQL 查询处理策略，引入了一种新颖的混合方法（SPARQL Hybrid），通过结合分区连接和广播连接以最小化数据传输。该方法通过根据数据大小和选择性智能选择连接策略，在复杂查询结构（如雪花形和链式模式）上实现了比现有最先进系统快达 2.4 倍的查询执行速度。

ABSTRACT

The number of linked data sources and the size of the linked open data graph keep growing every day. As a consequence, semantic RDF services are more and more confronted to various "big data" problems. Query processing is one of them and needs to be efficiently addressed with executions over scalable, highly available and fault tolerant frameworks. Data management systems requiring these properties are rarely built from scratch but are rather designed on top of an existing cluster computing engine. In this work, we consider the processing of SPARQL queries with Apache Spark. We propose and compare five different query processing approaches based on different join execution models and Spark components. A detailed experimentation, on real-world and synthetic data sets, emphasizes that two approaches tailored for the RDF data model outperform the other ones on all major query shapes, i.e., star, snowflake, chain and hybrid.

研究动机与目标

• 解决在分布式环境中大规模 RDF 数据上 SPARQL 查询处理面临的可扩展性和性能挑战。
• 评估并比较多种基于 Spark 的 RDF 数据查询处理策略，重点关注连接执行模型和数据分区。
• 设计一种混合查询执行策略，以最小化数据传输并充分利用 Spark 的内存处理能力，提升性能。
• 使用真实世界和合成数据集，将所提方法与 S2RDF 和最先进分布式 SPARQL 引擎等现有系统进行对比验证。
• 在保持高查询效率的同时降低预处理开销，使系统更适用于实际生产环境部署。

提出的方法

• 基于数据传输和连接策略选择，提出一种用于分布式 SPARQL 查询处理的正式成本模型。
• 实现了五种不同的基于 Spark 的 SPARQL 查询处理策略：SPARQL SQL、SPARQL RDD、SPARQL DF、SPARQL Hybrid RDD 和 SPARQL Hybrid DF。
• 使用 Spark 的 RDD 和 Dataset API 表示 RDF 数据并执行查询计划，通过数据压缩（DF）降低 I/O 和传输成本。
• 采用混合连接策略，根据关系大小动态选择广播连接（适用于小关系）或分区连接（适用于大关系），以最小化数据移动。
• 基于估计结果大小和选择性，实施数据分区和选择性广播，以优化连接执行。
• 与 Spark SQL 集成，但通过暴露 Catalyst 优化器未完全利用的底层连接优化选项，扩展了其功能。

实验结果

研究问题

• RQ1 不同基于 Spark 的 SPARQL 查询处理策略在执行时间和数据传输开销方面有何差异？
• RQ2 结合广播连接和分区连接的混合连接策略是否能在多种 SPARQL 查询模式下优于现有方法？
• RQ3 数据压缩（DF 表示）在内存受限的 Spark 集群中在多大程度上提升了性能？
• RQ4 与 S2RDF（一种最先进的基于 Spark 的 SPARQL 引擎）相比，所提混合方法在查询速度和数据传输减少方面表现如何？
• RQ5 所提方法是否能与 S2RDF 的 VP 分区模型有效结合，从而进一步提升性能？

主要发现

• SPARQL Hybrid 方法在所有主要查询结构上，查询执行时间相比最佳现有系统最快提升达 2.4 倍。
• 与基线方法相比，SPARQL Hybrid 在星型查询中节省 483MB 数据传输，在雪花形查询中节省 284MB，在复杂查询中节省 1.7GB。
• 该混合策略将数据访问次数从五次（SPARQL DF）减少至两次，显著提升了效率。
• SPARQL Hybrid DF 在未压缩数据上相比 SPARQL DF 实现高达 6.2 倍的加速，主要归因于数据传输的大幅减少。
• 该方法与 S2RDF 的 VP 分区模型兼容，并使其性能提升 1.72 倍至 2.16 倍，显示出强大的协同效应。
• 即使硬件配置较低，该系统响应时间仍快于 S2RDF（例如，查询 S1 的响应时间分别为 3.6 秒 vs. 8.8 秒），凸显了其效率优势。