[论文解读] Partout: A Distributed Engine for Efficient RDF Processing

Luis Galárraga, Katja Hose+1 more|arXiv (Cornell University)|Dec 21, 2012

Semantic Web and Ontologies参考文献 36被引用 41

一句话总结

Partout 是一种分布式RDF处理引擎，通过基于代表性查询工作负载对RDF数据进行分区和分配，优化查询性能。通过将频繁连接的三元组共址存储，减少跨节点通信，Partout 在无需复制的情况下，相比集中式和现有分布式系统，实现了更优的吞吐量和可扩展性。

ABSTRACT

The increasing interest in Semantic Web technologies has led not only to a rapid growth of semantic data on the Web but also to an increasing number of backend applications with already more than a trillion triples in some cases. Confronted with such huge amounts of data and the future growth, existing state-of-the-art systems for storing RDF and processing SPARQL queries are no longer sufficient. In this paper, we introduce Partout, a distributed engine for efficient RDF processing in a cluster of machines. We propose an effective approach for fragmenting RDF data sets based on a query log, allocating the fragments to nodes in a cluster, and finding the optimal configuration. Partout can efficiently handle updates and its query optimizer produces efficient query execution plans for ad-hoc SPARQL queries. Our experiments show the superiority of our approach to state-of-the-art approaches for partitioning and distributed SPARQL query processing.

研究动机与目标

• 解决集中式RDF存储在数据量增长时的可扩展性限制，特别是针对超过万亿三元组的数据集。
• 通过智能的数据分片与分配，最小化跨节点通信，改进分布式SPARQL查询处理。
• 设计一种面向集群环境中分布式RDF处理的基于成本的查询优化器和执行模型。
• 在不依赖数据复制的前提下，实现在分布式环境中高效的更新处理。

提出的方法

• 提出一种查询负载感知的数据分区算法，将频繁共现的查询模式聚集成片段，以最小化跨节点连接。
• 使用全局片段查询图来建模访问模式，并指导片段向集群节点的分配。
• 应用一种用于分布式查询执行的成本模型，估算选择性、连接大小和通信成本，以指导查询计划生成。
• 采用基于启发式的查询优化器，生成高效执行计划，包括流水线处理以减少中间结果传输。
• 实现一种非复制存储模型，以减少存储开销并提高更新效率。
• 通过将每个片段分配给单一主机，支持动态查询处理，避免了重复管理的复杂性。

实验结果

研究问题

• RQ1 如何在集群中对RDF数据进行分区和分配，以最小化SPARQL查询的跨节点通信？
• RQ2 在代表性查询工作负载下，数据片段和主机分配的最优配置是什么？
• RQ3 在不使用数据复制的情况下，分布式RDF系统是否能实现优于集中式或现有分布式系统的吞吐量和可扩展性？
• RQ4 在最小化通信的分布式环境中，查询优化与传统联邦或MapReduce-based方法相比表现如何？
• RQ5 在分布式RDF处理中，查询感知分区与复制之间的性能权衡是什么？

主要发现

• 由于减少了跨节点通信，Partout 在吞吐量方面优于集中式系统和现有分布式方法，尤其在高并发环境下表现更优。
• 系统能随着并发查询数量的增加而高效扩展，因为每个查询仅涉及相关主机参与计算。
• 通过避免复制，Partout 减少了存储开销，并实现了高效的更新操作，而这些在复制系统中更为复杂。
• 结合分布式成本模型的查询优化器能够生成高效执行计划，充分利用流水线处理并最小化中间结果传输。
• 在BTC数据集上，Partout 使用三台主机能有效处理并发查询，而其他方法在相似负载下出现超时。
• 该方法在处理具有大中间结果的查询时尤为有效，因为当片段根据访问模式共址存储时，这些结果可保留在本地。