[论文解读] When Distributed Computation is Communication Expensive

David P. Woodruff, Qin Zhang|arXiv (Cornell University)|Apr 16, 2013

Complexity and Algorithms in Graphs参考文献 20被引用 32

一句话总结

本文表明，在分布式系统中精确计算基础统计与图问题的通信开销极高，所需通信量几乎等同于将所有数据发送至中心节点。为实现高效通信，作者提倡采用近似计算、数据布局优化以及利用输入分布特性，证明了随机化协议可通过 O(kn^{3/2} ext{log}^2 n) 位通信量，将图直径近似到最多 2 的加法误差内。

ABSTRACT

We consider a number of fundamental statistical and graph problems in the message-passing model, where we have $k$ machines (sites), each holding a piece of data, and the machines want to jointly solve a problem defined on the union of the $k$ data sets. The communication is point-to-point, and the goal is to minimize the total communication among the $k$ machines. This model captures all point-to-point distributed computational models with respect to minimizing communication costs. Our analysis shows that exact computation of many statistical and graph problems in this distributed setting requires a prohibitively large amount of communication, and often one cannot improve upon the communication of the simple protocol in which all machines send their data to a centralized server. Thus, in order to obtain protocols that are communication-efficient, one has to allow approximation, or investigate the distribution or layout of the data sets.

研究动机与目标

• 分析在 k 个分布式机器的消息传递模型中，基础统计与图问题的通信复杂度。
• 证明许多此类问题的精确计算所需通信成本与将所有数据发送至中心节点的朴素集中式协议相当，因此在大规模环境中不切实际。
• 推动对放松条件的需求——特别是近似计算、优化数据布局与分布感知设计——以实现通信效率。
• 提出针对近似解的通信高效随机化协议，尤其针对图直径与连通性相关问题。
• 探讨分布式系统中通信成本、数据分布与协议轮数复杂度之间的相互作用。

提出的方法

• 将消息传递模型形式化为通信复杂度框架，其中 k 个节点通过点对点消息交换计算其数据并集上的函数。
• 证明下界：图直径、连通性与频率矩等问题的精确计算需要 Ω(km) 位通信，与将所有数据发送至中心节点的朴素协议通信量匹配。
• 设计一种随机化协议，通过从 Θ(√n ext{log} n) 个随机采样顶点构建 BFS 树，并基于度数的边收集方式，实现图直径的加法误差为 2 的近似。
• 使用抽样技术与 F₀ 估计，在各站点间近似计算顶点度数，通信量为 O(kn ext{log} n)，从而高效识别低度数顶点。
• 以分布式方式实现协议：首先由主节点采样顶点并协调各站点间的 BFS 构建；随后将低度数边发送至主节点进行聚合。
• 利用已知基于 RAM 的聚拢图构造算法（如 [8] 中所述），并将其适配至通信开销受限的消息传递模型。

实验结果

研究问题

• RQ1 在 k 个节点的消息传递模型中，计算基础统计与图问题的精确解所需的最小通信量是多少？
• RQ2 是否可利用近似计算显著降低分布式计算中的通信成本？若可，其适用条件为何？
• RQ3 数据布局与分布特性（如边重复或顶点聚类）如何影响分布式图问题的通信复杂度？
• RQ4 能否设计出轮数高效的协议，使其通信复杂度与轮数低效但通信最优的协议相当，适用于如近似直径等问题？
• RQ5 输入数据的分布特性（如稀疏性、幂律分布）在多大程度上影响分布式计算中的通信效率？

主要发现

• 在 k 个节点的消息传递模型中，图直径、连通性与频率矩的精确计算需要 Ω(km) 位通信，与将全部数据发送至中心节点的通信成本一致。
• 对于图直径，一种随机化协议在 99% 成功率下可实现最多 2 的加法误差，且通信量为 O(kn^{3/2} ext{log}^2 n) 位，显著优于朴素方法。
• 近似直径协议依赖于采样 Θ(√n ext{log} n) 个顶点并从这些顶点构建 BFS 树，通信量主要由跨节点的 BFS 构建过程主导。
• 通过抽样技术，存在一种 1 轮协议用于判断二分图性质，通信复杂度为 Õ(kn) 位，表明轮数效率具有潜力。
• 计算顶点度数（F₀）的通信复杂度为 O(kn ext{log} n) 位，可将结果近似到 2 倍因子以内，从而高效识别低度数顶点以支持聚拢图构造。
• 本文证明，即使在本地计算能力无限制的条件下，通信复杂度下界依然紧致，表明通信是分布式系统中的根本瓶颈。