[论文解读] Stochastic Kronecker Graph on Vertex-Centric BSP

Ernest K. Ryu, Sean Choi|arXiv (Cornell University)|Aug 10, 2012

Graph Theory and Algorithms参考文献 5被引用 4

一句话总结

本文提出泊松随机克罗内克图（Poisson Stochastic Kronecker Graph, PSKG），一种新型网络生成模型，保留了随机克罗内克图（Stochastic Kronecker Graph, SKG）的结构特性，同时在顶点中心的BSP框架（如Apache Giraph）上实现了高效、无需通信的并行执行。通过将顶点出度建模为独立的泊松随机变量，并采用递归边路由机制，PSKG消除了节点间通信，实现了原生的顶点中心并行性，在分布式图处理环境中相较于SKG展现出性能与可扩展性优势。

ABSTRACT

Recently Stochastic Kronecker Graph (SKG), a network generation model, and vertex-centric BSP, a graph processing framework like Pregel, have attracted much attention in the network analysis community. Unfortunately the two are not very well-suited for each other and thus an implementation of SKG on vertex-centric BSP must either be done serially or in an unnatural manner. In this paper, we present a new network generation model, which we call Poisson Stochastic Kronecker Graph (PSKG), that generate edges according to the Poisson distribution. The advantage of PSKG is that it is easily parallelizable on vertex-centric BSP, requires no communication between computational nodes, and yet retains all the desired properties of SKG.

研究动机与目标

• 解决随机克罗内克图（SKG）在顶点中心BSP框架（如Pregel和Apache Giraph）上效率低下且不自然的并行化问题。
• 开发一种网络生成模型，保持SKG复制现实世界网络特性（如幂律度分布和小世界特性）的能力。
• 通过使用泊松分布的出度重新定义边生成过程，实现真正顶点中心、通信避免的并行化。
• 证明PSKG在关键图模式上与SKG在理论和实证上等价，同时原生兼容顶点中心BSP执行。

提出的方法

• 将顶点出度建模为独立但非同分布的泊松随机变量，其均值与初始矩阵的克罗内克积成比例。
• 通过递归分解顶点ID来确定边的目标节点，无需显式构建邻接矩阵，模仿SKG的层次化划分。
• 将边生成分解为两个阶段：(1) 通过泊松抽样为每个顶点分配出度；(2) 对每条边，递归使用初始矩阵的转移概率选择目标节点。
• 利用多项分布与泊松分布之间的条件等价性（通过贝叶斯规则），实现顶点级别的独立计算。
• 以顶点为中心实现算法，每个顶点独立计算自身的出度和边目标，从而消除节点间通信。
• 通过基于范围的顶点分配实现负载均衡，最小化各工作节点间最大工作量偏差，并给出不平衡性的理论界。

实验结果

研究问题

• RQ1 能否设计一种网络生成模型，既保持SKG的结构真实性，又能在顶点中心BSP模型中实现原生并行化？
• RQ2 如何重构边生成过程，以在顶点中心图框架中完全消除节点间通信？
• RQ3 在分布式PSKG实现中，理论负载不平衡程度如何？在合理假设下是否可被界定？
• RQ4 PSKG生成的图在关键网络模式（如度分布、跳数图、奇异值）上与SKG生成的图在多大程度上一致？

主要发现

• 在相同参数下，PSKG生成的图在度分布、跳数图、碎石图和网络值等方面与SKG生成的图在实证上无法区分。
• PSKG中各工作节点间的最大负载不平衡度被限定在[E/Nw, E/Nw + δ]范围内，其中δ ≈ √(2E/Nw) × √(log Nw + |log|log(1−α)||)，确保了接近最优的负载分布。
• PSKG在顶点中心BSP框架上实现了完全无依赖的并行执行，边生成过程中无需节点间通信。
• 由于多项分布与泊松分布之间的条件等价性，PSKG在理论上与SKG等价，保留了所有期望的网络特性。
• PSKG在保持与SKG相同建模保真度的同时，在分布式顶点中心环境中显著提升了效率。
• 所提出的负载均衡算法确保每个工作节点被分配一个连续的顶点ID区间，最小化协调开销，实现高效可扩展的执行。