[论文解读] Tight Bounds for Distributed Graph Computations.

Gopal Pandurangan, Peter Robinson+1 more|arXiv (Cornell University)|Feb 26, 2016

Complexity and Algorithms in Graphs参考文献 67被引用 10

一句话总结

本文通过信息论方法，建立了 k 台机器模型下分布式图计算的近乎紧致的轮次复杂度下界。它提出了 PageRank 计算的最优算法，轮次复杂度为 $\tilde{O}(n/k^2)$，以及三角形枚举的最优算法，轮次复杂度为 $\tilde{O}(m/k^{5/3})$，并给出了相应的紧致下界，展示了大规模图计算中近乎最优的通信效率。

ABSTRACT

Motivated by the need to understand the algorithmic foundations of distributed large-scale graph computations, we study some fundamental graph problems in a message-passing model for distributed computing where $k \geq 2$ machines jointly perform computations on graphs with $n$ nodes (typically, $n \gg k$). The input graph is assumed to be initially randomly partitioned among the $k$ machines. Communication is point-to-point, and the goal is to minimize the number of communication rounds of the computation. We present (almost) tight bounds for the round complexity of two fundamental graph problems, namely PageRank computation and triangle enumeration. Our tight lower bounds, a main contribution of the paper, are established through an information-theoretic approach that relates the round complexity to the minimal amount of information required by machines for correctly solving a problem. Our approach is generic and might be useful in showing lower bounds in the context of similar problems and similar models. We show a lower bound of $ ilde{\Omega}(n/k^2)$ rounds for computing the PageRank. (Notation $ ilde \Omega$ hides a ${1}/{ ext{polylog}(n)}$ factor.) We also present a simple distributed algorithm that computes the PageRank of all the nodes of a graph in $ ilde{O}(n/k^2)$ rounds (notation $ ilde O$ hides a $ ext{polylog}(n)$ factor and an additive $ ext{polylog}(n)$ term). For triangle enumeration, we show a lower bound of $ ilde{\Omega}(m/k^{5/3})$ rounds, where $m$ is the number of edges of the graph. Our result implies a lower bound of $ ilde\Omega(n^{1/3})$ for the congested clique, which is tight up to logarithmic factors. We also present a distributed algorithm that enumerates all the triangles of a graph in $ ilde{O}(m/k^{5/3})$ rounds.

研究动机与目标

• 理解 k 台机器消息传递模型下大规模图处理的算法基础。
• 建立基本图问题在通信轮次数量上的紧致下界。
• 设计高效的分布式算法用于 PageRank 和三角形枚举，使其几乎达到这些下界。
• 开发一种通用的信息论框架，可适用于类似问题与模型。

提出的方法

• 采用信息论方法，将轮次复杂度与正确计算所需的最小信息量联系起来。
• 通过分析机器正确解决图问题所需的信息量，推导出下界。
• 设计了一种基于跨机器迭代传播得分的分布式 PageRank 算法，通过高效的负载均衡最小化通信量。
• 对于三角形枚举，采用协调机制以检测并报告三角形，同时最小化跨机器通信。
• 分析考虑了输入图在 k 台机器间的随机划分，以及点对点通信的约束。
• 使用 $\tilde{O}$ 和 $\tilde{\Omega}$ 符号以捕捉对数因子，聚焦于主导的渐近行为。

实验结果

研究问题

• RQ1 在分布式 k 台机器系统中，计算 PageRank 所需的最少通信轮次是多少？
• RQ2 在分布式图计算模型中，三角形枚举的轮次复杂度下界是什么？
• RQ3 这些问题的下界能否被高效的分布式算法所逼近？
• RQ4 信息论方法如何在分布式图计算中实现紧致界？
• RQ5 根据一般性下界，三角形枚举在拥塞团模型中的轮次复杂度是多少？

主要发现

• 本文建立了 PageRank 计算的下界为 $\tilde{\Omega}(n/k^2)$ 轮次，近乎紧致。
• 提出了一种算法，可在 $\tilde{O}(n/k^2)$ 轮次内完成 PageRank 计算，与下界仅相差对数因子。
• 对于三角形枚举，证明了下界为 $\tilde{\Omega}(m/k^{5/3})$ 轮次，其中 m 为边数。
• 同一算法在三角形枚举中达到 $\tilde{O}(m/k^{5/3})$ 轮次，渐近意义上与下界匹配。
• 结果表明，在拥塞团模型中，三角形枚举的下界为 $\tilde{\Omega}(n^{1/3})$ 轮次，仅相差对数因子，因此是紧致的。
• 所提出的的信息论框架具有通用性，可用于推导其他分布式图问题的下界。