[论文解读] PHD-Store: An Adaptive SPARQL Engine with Dynamic Partitioning for Distributed RDF Repositories

Razen Harbi, Yasser Ebrahim+1 more|arXiv (Cornell University)|May 20, 2014

Graph Theory and Algorithms参考文献 24被引用 7

一句话总结

PHD-Store 是一种用于分布式 RDF 存储库的动态自适应 SPARQL 引擎，通过在运行时动态重新分配数据，避免了昂贵的预处理步骤。它最初使用分布式半连接算法，并根据查询工作负载增量重分区频繁访问的数据。通过在运行时感知数据的重新分配，实现基于哈希的并行处理，从而在无需初始数据放置或预分区的情况下，实现比竞争对手快 1 至 2 个数量级的查询执行性能。

ABSTRACT

Many repositories utilize the versatile RDF model to publish data. Repositories are typically distributed and geographically remote, but data are interconnected (e.g., the Semantic Web) and queried globally by a language such as SPARQL. Due to the network cost and the nature of the queries, the execution time can be prohibitively high. Current solutions attempt to minimize the network cost by redistributing all data in a preprocessing phase, but here are two drawbacks: (i) redistribution is based on heuristics that may not benefit many of the future queries; and (ii) the preprocessing phase is very expensive even for moderate size datasets. In this paper we propose PHD-Store, a SPARQL engine for distributed RDF repositories. Our system does not assume any particular initial data placement and does not require prepartitioning; hence, it minimizes the startup cost. Initially, PHD-Store answers queries using a potentially slow distributed semi-join algorithm, but adapts dynamically to the query load by incrementally redistributing frequently accessed data. Redistribution is done in a way that future queries can benefit from fast hash-based parallel execution. Our experiments with synthetic and real data verify that PHD-Store scales to very large datasets; many repositories; converges to comparable or better quality of partitioning than existing methods; and executes large query loads 1 to 2 orders of magnitude faster than our competitors.

研究动机与目标

• 解决由于数据地理位置分散和查询相互关联导致的分布式 RDF 存储库中网络开销高和执行时间长的问题。
• 克服现有系统依赖基于启发式的、预计算的数据分区所导致的高预处理成本，且其分区策略可能与实际查询工作负载不匹配的局限性。
• 设计一种系统，通过增量式地重新分配频繁访问的数据，动态适应查询模式，以优化未来的查询执行。
• 通过避免任何初始数据重新分配或预分区阶段，最小化启动开销。
• 实现在大规模分布式 RDF 数据集上的可扩展、高性能 SPARQL 查询处理。

提出的方法

• 系统从使用分布式半连接算法执行查询开始，无需事先进行数据放置，从而确保启动成本低。
• 实时监控查询工作负载，以识别频繁访问的数据模式。
• 基于工作负载分析，PHD-Store 逐步将热数据重新分布到各个节点，以支持高效的基于哈希的并行执行。
• 重新分配策略旨在最小化网络流量，并最大化对重复访问模式的查询性能。
• 通过学习查询执行历史，系统动态调整分区策略，以保持频繁访问三元组的数据局部性。
• 通过仅关注热数据而非全局重组，实现在大规模数据集上的可扩展执行。

实验结果

研究问题

• RQ1 SPARQL 引擎是否能够在无需初始数据分区或预处理的情况下，动态适应查询工作负载？
• RQ2 基于查询频率的动态数据重新分配与静态或基于启发式的分区相比，在查询性能和可扩展性方面表现如何？
• RQ3 运行时感知的数据放置在多大程度上能够减少网络开销并改善分布式 RDF 存储库中的查询执行时间？
• RQ4 该系统是否能在最小化启动成本的前提下，收敛到与现有方法相当或更优的分区质量？
• RQ5 在真实世界和合成工作负载下，随着数据集规模和查询负载的增加，该系统如何实现可扩展性？

主要发现

• 在大规模查询工作负载下，PHD-Store 的查询执行速度比竞争系统快 1 至 2 个数量级。
• 尽管从无初始数据放置开始，该系统仍能收敛到与现有静态和基于启发式的分区方法相当或更优的分区质量。
• 通过避免预处理和预分区，PHD-Store 显著降低了启动成本，使其适用于动态或演化中的数据环境。
• 动态重新分配机制能够有效识别并优化频繁访问的数据，随着查询模式趋于稳定，性能随时间持续提升。
• 对合成和真实世界 RDF 数据集的实验表明，PHD-Store 能够高效扩展至超大规模数据集和大量存储库。
• 该系统在多样化工作负载下表现出稳健性能，通过自适应数据放置保持低延迟和高吞吐量。