[论文解读] Query Workload-based RDF Graph Fragmentation and Allocation

Peng Peng, Lei Zou+2 more|arXiv (Cornell University)|Aug 31, 2015

Graph Theory and Algorithms参考文献 32被引用 8

一句话总结

本文提出了一种基于查询工作负载的RDF图分片与分配方法，通过从SPARQL查询工作负载中挖掘频繁子图模式，指导垂直和水平分片，从而最小化跨分片通信。通过使分片与常见查询模式对齐，97%的真实世界查询避免了分片间通信，显著提升了分布式RDF系统中的查询性能。

ABSTRACT

As the volume of the RDF data becomes increasingly large, it is essential for us to design a distributed database system to manage it. For distributed RDF data design, it is quite common to partition the RDF data into some parts, called fragments, which are then distributed. Thus, the distribution design consists of two steps: fragmentation and allocation. In this paper, we propose a method to explore the intrinsic similarities among the structures of queries in a workload for fragmentation and allocation, which aims to reduce the number of crossing matches and the communication cost during SPARQL query processing. Specifically, we mine and select some frequent access patterns to reflect the characteristics of the workload. Here, although we prove that selecting the optimal set of frequent access patterns is NP-hard, we propose a heuristic algorithm which guarantees both the data integrity and the approximation ratio. Based on the selected frequent access patterns, we propose two fragmentation strategies, vertical and horizontal fragmentation strategies, to divide RDF graphs while meeting different kinds of query processing objectives. Vertical fragmentation is for better throughput and horizontal fragmentation is for better performance. After fragmentation, we discuss how to allocate these fragments to various sites. Finally, we discuss how to process a query based on the results of fragmentation and allocation. Extensive experiments confirm the superior performance of our proposed solutions.

研究动机与目标

• 通过利用查询工作负载模式，减少分布式RDF查询处理中的通信开销。
• 设计与SPARQL工作负载中频繁访问模式相匹配的分片策略——垂直分片与水平分片。
• 通过智能选择频繁访问模式，在性能提升与存储开销之间实现平衡。
• 设计一种分配策略，优化分片在各站点间的分布，以实现高效的查询执行。
• 通过利用分片与分配结果带来的子图匹配局部性，实现高效的查询处理。

提出的方法

• 使用最小支持度阈值，从真实SPARQL查询工作负载（如DBpedia）中挖掘频繁子图模式。
• 定义两种分片策略：面向吞吐量的垂直分片和面向性能的水平分片，均受挖掘出的频繁访问模式指导。
• 将频繁访问模式选择问题形式化为NP难优化问题，并采用启发式算法确保数据完整性与近似比。
• 提出一种分片分配算法，基于访问频率与通信成本最小化原则，将分片分布到各站点。
• 设计一个查询处理引擎，利用分片与分配结构，以最小化跨分片通信的方式执行SPARQL查询。
• 使用图粗化与模式匹配技术，将分片边界回映到原始RDF图以保证一致性。

实验结果

研究问题

• RQ1 如何有效挖掘SPARQL查询工作负载中的频繁子图模式，以指导RDF图分片？
• RQ2 在分布式RDF系统中，何种分片策略（垂直 vs. 水平）能最佳平衡性能与通信开销？
• RQ3 如何选择频繁访问模式，以在最小化数据复制的同时最大化查询局部性？
• RQ4 何种分配策略能最优地将分片分布到各站点，以减少查询评估过程中的通信？
• RQ5 基于工作负载的分片在多大程度上能消除真实世界SPARQL工作负载中的跨分片通信？

主要发现

• DBpedia工作负载中97%的SPARQL查询与163个频繁子图模式之一同构，表明存在强烈的查询局部性。
• 将这些频繁模式作为分片单元，可使97%的查询完全消除通信开销，因为其匹配结果均位于单一分片内。
• 所提出的启发式模式选择算法在保持数据完整性的同时，实现了较高的近似比，并最小化了空间开销。
• 大量实验结果表明，基于工作负载的分片显著降低了通信开销，并在查询处理性能上优于传统图粗化方法。
• 在真实工作负载下，垂直分片策略在吞吐量方面优于基线方法，水平分片策略在响应时间方面优于基线方法。
• 分配策略通过将频繁访问的分片放置在同一或邻近站点，有效减少了站点间通信。