[论文解读] Scalable RDF Data Compression using X10

Cheng Long, Avinash Malik+3 more|arXiv (Cornell University)|Mar 10, 2014

Distributed and Parallel Computing Systems参考文献 14被引用 6

一句话总结

本文提出了一种可扩展的、基于X10编程语言和APGAS模型的分布式RDF数据压缩算法，以实现在大规模集群中高效地进行字典编码。与最先进的基于MapReduce的压缩方法相比，该方法实现了2.6–7.4倍的性能提升，具备出色的负载均衡能力和低通信开销，在最大达110亿个三元组（1.9 TB）的数据集上表现出强劲性能。

ABSTRACT

The Semantic Web comprises enormous volumes of semi-structured data elements. For interoperability, these elements are represented by long strings. Such representations are not efficient for the purposes of Semantic Web applications that perform computations over large volumes of information. A typical method for alleviating the impact of this problem is through the use of compression methods that produce more compact representations of the data. The use of dictionary encoding for this purpose is particularly prevalent in Semantic Web database systems. However, centralized implementations present performance bottlenecks, giving rise to the need for scalable, efficient distributed encoding schemes. In this paper, we describe an encoding implementation based on the asynchronous partitioned global address space (APGAS) parallel programming model. We evaluate performance on a cluster of up to 384 cores and datasets of up to 11 billion triples (1.9 TB). Compared to the state-of-art MapReduce algorithm, we demonstrate a speedup of 2.6-7.4x and excellent scalability. These results illustrate the strong potential of the APGAS model for efficient implementation of dictionary encoding and contributes to the engineering of larger scale Semantic Web applications.

研究动机与目标

• 解决大规模RDF数据压缩中集中式字典编码带来的性能瓶颈。
• 克服现有并行压缩方法在架构依赖性或负载均衡差方面的局限性。
• 利用通用集群实现大规模RDF数据的高效、可扩展且容错的压缩。
• 支持内存内与磁盘上的处理，以适应现实世界语义网应用中的灵活部署需求。
• 通过在分布式环境中实现智能数据分发与协调，实现高性能与低通信开销。

提出的方法

• 利用X10语言的APGAS（异步分区全局地址空间）模型，表达具有细粒度任务调度的数据并行计算。
• 采用分布式字典编码机制，每个处理节点维护本地字典，并通过全对全通信仅传输必要的映射关系。
• 通过X10的`async`和`finish`构造异步启动任务，以管理并发并改善负载分布。
• 采用两阶段编码流程：(1) 每个节点本地收集术语并分配ID；(2) 通过全局协调解决术语冲突，确保ID映射的一致性。
• 通过确保94.5%的术语在本地解决，最大限度减少冗余计算，降低不必要的数据传输。
• 通过仅传输必需的映射而非重新分区整个数据集来优化通信，提升网络效率。

实验结果

研究问题

• RQ1 X10中的APGAS模型能否实现大规模RDF数据的可扩展且高效的字典编码？
• RQ2 所提出的分布式编码算法在性能与可扩展性方面相较于最先进的基于MapReduce的方法表现如何？
• RQ3 该算法在分布式集群环境中在多大程度上实现了负载均衡并最小化了通信开销？
• RQ4 系统在不同数据规模和核心数量下的表现如何，特别是在最大达110亿个三元组的数据集上？
• RQ5 系统能否高效处理增量更新，并同时支持内存内与磁盘上的处理？

主要发现

• 所提出的基于X10的算法在最大达110亿个三元组（1.9 TB）的数据集上，相较于最先进的基于MapReduce的压缩系统，实现了2.6–7.4倍的性能提升。
• 系统展现出优异的可扩展性，在24至384个核心范围内均保持高性能，负载均衡一致且偏差极小。
• 所有配置下的平均未命中率（miss ratio）为94.5%，表明94.5%的术语在本地解决，显著减少了冗余计算与通信。
• 网络通信量显著降低：在192个核心下，X10每个节点平均仅传输143万条记录（1.8782 MB），而MapReduce的reduce阶段平均传输1728万条记录（79.77 MB）。
• 与MapReduce相比，本系统实现了更好的负载均衡，节点间最大与平均接收数据量的差异更小（143万条 vs. 1728万条）。
• 该算法支持内存内与磁盘上的处理，且对数据倾斜具有鲁棒性，适用于现实世界中的大规模语义网工作负载。