[论文解读] SPARQL over GraphX.

Besat Kassaie|arXiv (Cornell University)|Jan 11, 2017

Graph Theory and Algorithms参考文献 14被引用 5

一句话总结

本文提出了一种基于GraphX（Apache Spark上的图并行处理框架）的SPARQL查询评估系统，通过在GraphX模型内利用子图匹配技术，高效处理大规模RDF数据集。该方法通过减少昂贵的连接操作，相较于传统关系型系统表现出更优的性能，并在大规模图上展现出强大的可扩展性。

ABSTRACT

The ability of the RDF data model to link data from heterogeneous domains has led to an explosive growth of RDF data. So, evaluating SPARQL queries over large RDF data has been crucial for the semantic web community. However, due to the graph nature of RDF data, evaluating SPARQL queries in relational databases and common data-parallel systems needs a lot of joins and is inefficient. On the other hand, the enormity of datasets that are graph in nature such as social network data, has led the database community to develop graph-parallel processing systems to support iterative graph computations efficiently. In this work we take advantage of the graph representation of RDF data and exploit GraphX, a new graph processing system based on Spark. We propose a subgraph matching algorithm, compatible with the GraphX programming model to evaluate SPARQL queries. Some experiments are performed to show the system scalability to handle large datasets.

研究动机与目标

• 解决使用传统关系型数据库评估大规模RDF数据集上SPARQL查询时效率低下的问题。
• 利用RDF数据固有的图结构，实现更高效的查询处理。
• 设计一种与Spark上GraphX编程模型兼容的子图匹配算法。
• 评估所提出系统在大规模RDF数据集上的可扩展性和性能表现。

提出的方法

• 将RDF数据表示为属性图，以利用GraphX的图并行计算模型。
• 设计一种针对GraphX顶点中心编程模型的子图匹配算法。
• 将SPARQL代数算子映射为图操作，如顶点和边的过滤以及模式匹配。
• 利用Spark的内存计算和容错能力，提升查询处理性能。
• 实现迭代处理，以支持涉及模式匹配和绑定传播的复杂SPARQL查询。

实验结果

研究问题

• RQ1 GraphX能否被有效用于在大规模RDF数据集上评估SPARQL查询？
• RQ2 所提出的基于GraphX的方法在SPARQL评估方面与传统关系型数据库系统相比性能如何？
• RQ3 该系统在数据集规模和查询复杂度增加时，其可扩展性达到何种程度？

主要发现

• 所提出的基于GraphX的SPARQL评估系统通过避免昂贵的连接操作，相比传统关系型系统实现了更优的性能。
• 由于GraphX具备内存内、分布式图处理能力，该系统在大规模RDF数据集上表现出强大的可扩展性。
• GraphX中的子图匹配通过迭代图计算，实现了对复杂SPARQL查询的高效评估。
• 该方法有效利用了RDF数据的图特性，与关系模型相比显著降低了查询处理开销。