[论文解读] Super-fast MST Algorithms in the Congested Clique using $o(m)$ Messages

Sriram V. Pemmaraju, Vivek B. Sardeshmukh|arXiv (Cornell University)|Oct 12, 2016

Complexity and Algorithms in Graphs参考文献 7被引用 4

一句话总结

本文提出了首个在 Congested Clique 模型中实现超快速最小生成树（MST）算法的方案，其消息复杂度低于二次方，达到 $O(\text{poly}(\log^* n))$ 轮和 $\tilde{O}(\text{poly}(n))$ 条消息。该算法通过分量级边采样和 $\tilde{O}(n)$ 条消息的线性图概要，降低了通信开销，同时保持了接近最优的轮数复杂度。

ABSTRACT

In a sequence of recent results (PODC 2015 and PODC 2016), the running time of the fastest algorithm for the \emph{minimum spanning tree (MST)} problem in the \emph{Congested Clique} model was first improved to $O(\log \log \log n)$ from $O(\log \log n)$ (Hegeman et al., PODC 2015) and then to $O(\log^* n)$ (Ghaffari and Parter, PODC 2016). All of these algorithms use $Θ(n^2)$ messages independent of the number of edges in the input graph. This paper positively answers a question raised in Hegeman et al., and presents the first "super-fast" MST algorithm with $o(m)$ message complexity for input graphs with $m$ edges. Specifically, we present an algorithm running in $O(\log^* n)$ rounds, with message complexity $ ilde{O}(\sqrt{m \cdot n})$ and then build on this algorithm to derive a family of algorithms, containing for any $\varepsilon$, $0 < \varepsilon \le 1$, an algorithm running in $O(\log^* n/\varepsilon)$ rounds, using $ ilde{O}(n^{1 + \varepsilon}/\varepsilon)$ messages. Setting $\varepsilon = \log\log n/\log n$ leads to the first sub-logarithmic round Congested Clique MST algorithm that uses only $ ilde{O}(n)$ messages. Our primary tools in achieving these results are (i) a component-wise bound on the number of candidates for MST edges, extending the sampling lemma of Karger, Klein, and Tarjan (Karger, Klein, and Tarjan, JACM 1995) and (ii) $Θ(\log n)$-wise-independent linear graph sketches (Cormode and Firmani, Dist.~Par.~Databases, 2014) for generating MST candidate edges.

研究动机与目标

• 为解决在 Congested Clique 模型中，超快速 MST 算法是否能够实现次二次方消息复杂度这一开放问题。
• 设计一种 MST 算法，在保持 $O(\log^* n)$ 轮复杂度的同时，将消息数量减少至 $\Theta(n^2)$ 以下。
• 证明低消息复杂度与 Congested Clique 模型中超快速分布式计算是兼容的。
• 提供一个以 $\varepsilon$ 为参数的算法族，实现轮数复杂度与消息数量之间的可调和权衡。

提出的方法

• 将 Karger、Klein 和 Tarjan 的采样引理扩展，用于限制每个连通分量中候选 MST 边的数量。
• 使用 $\Theta(\log n)$-wise 独立的线性图概要，高效生成 MST 候选边。
• 采用低消息路由方案（RSG），在 $\tilde{O}(\sqrt{m})$ 个节点之间重新分配键和消息。
• 通过重新分配和 Lenzen 的 $O(1)$ 轮排序算法，将键排序问题简化为大小为 $\tilde{O}(\sqrt{k})$ 的更小团。
• 应用一种分布式排序子程序，对 $k = O(n^{2-\varepsilon})$ 个键使用 $O(k)$ 条消息，实现边权值的高效全局排序。
• 结合概要与路由原 primitive，构建一个可调节轮数与消息数量之间权衡的算法族。

实验结果

研究问题

• RQ1 在 Congested Clique 模型中，超快速 MST 算法能否实现 $o(m)$ 消息复杂度？
• RQ2 是否可能在保持 $O(\log^* n)$ 轮复杂度的同时，将消息数量减少至 $\Theta(n^2)$ 以下？
• RQ3 能否利用分量级采样和线性概要技术，以低通信开销生成 MST 候选边？
• RQ4 在低消息 MST 算法中，轮数复杂度与消息复杂度之间的权衡关系是什么？
• RQ5 能否仅使用 $\tilde{O}(n)$ 条消息，构建一个亚对数轮数的 MST 算法？

主要发现

• 本文提出了一种 $O(\log^* n)$ 轮的 MST 算法，其消息复杂度为 $\tilde{O}(\sqrt{m \cdot n})$，当图的边数 $m = \omega(n \cdot \text{poly}(\log n))$ 时，该复杂度为 $o(m)$。
• 构造了一个算法族，其轮数复杂度为 $O(\log^* n / \varepsilon)$，消息复杂度为 $\tilde{O}(n^{1+\varepsilon}/\varepsilon)$，适用于任意 $\varepsilon \in (0,1]$。
• 当 $\varepsilon = \log \log n / \log n$ 时，可得到仅使用 $\tilde{O}(n)$ 条消息的亚对数轮复杂度算法。
• 该算法在 $\tilde{O}(m)$ 条消息下实现 $O(\log^* n)$ 轮复杂度，优于以往的 $\Theta(n^2)$ 消息复杂度。
• 分布式排序子程序将消息复杂度降低至 $O(k)$，适用于 $k = O(n^{2-\varepsilon})$ 个键，从而实现高效的全局边权排序。
• 结果解决了 Hegeman 等人提出的一个开放问题，表明超快速 MST 算法可以实现 $\tilde{O}(n)$ 条消息。