[论文解读] xDGP: A Dynamic Graph Processing System with Adaptive Partitioning

Luis M. Vaquero, Félix Cuadrado+2 more|arXiv (Cornell University)|Sep 4, 2013

Graph Theory and Algorithms参考文献 39被引用 26

一句话总结

xDGP 是一种动态图处理系统，通过基于本地标签传播的去中心化、迭代式顶点迁移启发式算法，实时自适应地重新划分大规模图。它通过最小化跨分区边并保持负载均衡，避免数据复制，在动态真实工作负载中将执行时间减少了50%以上。

ABSTRACT

Many real-world systems, such as social networks, rely on mining efficiently large graphs, with hundreds of millions of vertices and edges. This volume of information requires partitioning the graph across multiple nodes in a distributed system. This has a deep effect on performance, as traversing edges cut between partitions incurs a significant performance penalty due to the cost of communication. Thus, several systems in the literature have attempted to improve computational performance by enhancing graph partitioning, but they do not support another characteristic of real-world graphs: graphs are inherently dynamic, their topology evolves continuously, and subsequently the optimum partitioning also changes over time. In this work, we present the first system that dynamically repartitions massive graphs to adapt to structural changes. The system optimises graph partitioning to prevent performance degradation without using data replication. The system adopts an iterative vertex migration algorithm that relies on local information only, making complex coordination unnecessary. We show how the improvement in graph partitioning reduces execution time by over 50%, while adapting the partitioning to a large number of changes to the graph in three real-world scenarios.

研究动机与目标

• 解决大规模动态图中结构变化导致的分布式图处理性能下降问题。
• 设计一种可扩展的去中心化划分机制，能够在无需全局协调或数据复制的情况下适应图拓扑变化。
• 在持续图更新过程中保持负载均衡并最小化通信开销。
• 在社交网络和欺诈检测系统等动态图工作负载中实现实时性能提升。

提出的方法

• 该系统使用仅依赖于本地信息的去中心化、迭代式顶点迁移算法，以提升划分质量。
• 基于旨在最小化切割边数量的标签传播启发式方法，在分区之间迁移顶点。
• 迁移发生在连续的处理迭代之间，确保计算过程的一致性。
• 通过复杂的定位机制保留顶点ID，实现无缝更新而不会产生ID冲突。
• 当图中发生结构变化（如边的插入或删除）时，触发划分适应。
• 该启发式方法设计轻量且可扩展，避免全局聚合或昂贵的优化步骤。

实验结果

研究问题

• RQ1 在动态图中，结构变化如何随时间影响静态图划分的质量？
• RQ2 基于本地信息的去中心化启发式方法能否有效适应不断演化的图拓扑？
• RQ3 动态重划分的性能开销是多少？与划分质量提升带来的性能增益相比如何？
• RQ4 自适应划分在真实世界动态图工作负载中能在多大程度上减少执行时间？

主要发现

• 在三个真实世界的动态图工作负载（包括社交网络和通话详单记录）中，系统将执行时间减少了50%以上。
• 自适应划分显著缓解了图动态性导致的性能下降，即使在突变或持续变化的情况下也有效。
• 迭代式顶点迁移启发式方法有效最小化了切割边数量，同时保持了各分区间的负载均衡。
• 通过仅依赖本地信息，系统实现了高可扩展性和低协调开销，避免了全局计算或数据复制。
• 顶点迁移被识别为主要的开销来源，尤其是在大量顶点被移动时。
• 该方法在连续实时处理场景中优于静态划分策略及相关系统（如GPS和Sedge）。