[论文解读] On the Complexity of Processing Massive, Unordered, Distributed Data

Jon Feldman, S. Muthukrishnan+3 more|ArXiv.org|Nov 21, 2006

Distributed systems and fault tolerance参考文献 16被引用 11

一句话总结

本文提出了Mud（大规模、无序、分布式）计算模型，以形式化现代大规模数据处理系统（如MapReduce和Hadoop）的计算范式。证明了任何可通过流算法计算的对称函数，也可通过空间和通信复杂度相近的Mud算法实现，从而在流计算与无序分布式计算之间建立了基础性的等价关系。

ABSTRACT

An existing approach for dealing with massive data sets is to stream over the input in few passes and perform computations with sublinear resources. This method does not work for truly massive data where even making a single pass over the data with a processor is prohibitive. Successful log processing systems in practice such as Google's MapReduce and Apache's Hadoop use multiple machines. They efficiently perform a certain class of highly distributable computations defined by local computations that can be applied in any order to the input. Motivated by the success of these systems, we introduce a simple algorithmic model for massive, unordered, distributed (mud) computation. We initiate the study of understanding its computational complexity. Our main result is a positive one: any unordered function that can be computed by a streaming algorithm can also be computed with a mud algorithm, with comparable space and communication complexity. We extend this result to some useful classes of approximate and randomized streaming algorithms. We also give negative results, using communication complexity arguments to prove that extensions to private randomness, promise problems and indeterminate functions are impossible. We believe that the line of research we introduce in this paper has the potential for tremendous impact. The distributed systems that motivate our work successfully process data at an unprecedented scale, distributed over hundreds or even thousands of machines, and perform hundreds of such analyses each day. The mud model (and its generalizations) inspire a set of complexity-theoretic questions that lie at their heart.

研究动机与目标

• 形式化现代分布式数据处理系统（如Google的MapReduce和Apache Hadoop）所依赖的计算模型。
• 以反映真实世界系统的方式，理解处理大规模、无序、分布式数据的计算复杂性。
• 建立流算法与无序分布式计算（Mud算法）之间的正式关系。
• 通过通信复杂性和下界分析，探究Mud计算的极限。
• 探索将Mud算法推广以涵盖更广泛分布式数据处理工作负载的可能性。

提出的方法

• 提出一个形式化的Mud算法模型，定义为三元组 (Φ, ⊕, η)，其中Φ为局部函数，⊕为结合且交换的聚合函数，η为后处理函数。
• 使用流算法的非确定性模拟来猜测数据流顺序，随后应用Savitch定理实现在Mud模型中高效的空间计算。
• 应用通信复杂性技术证明下界，特别是表明对称索引问题的确定性协议需要Ω(n)通信量。
• 将结果扩展至近似和随机化流算法，表明在Mud模型下某些扩展（如私有随机性）是不可行的。
• 引入iMUD和iSS类以建模不确定函数（即允许多个正确输出），并证明严格包含关系iMUD ⊂ iSS。
• 利用承诺问题框架将部分函数与总不确定函数关联，实现流计算结果向Mud模型的迁移。

实验结果

研究问题

• RQ1 任何可通过流算法以多项式对数空间和通信复杂度计算的对称函数，是否也能通过Mud算法以相近的空间和通信复杂度实现？
• RQ2 当Mud模型扩展至私有随机性、承诺问题或不确定函数时，其局限性是什么？
• RQ3 是否存在自然问题，使得Mud模型相比传统流计算提供更高效或更实用的计算框架？
• RQ4 从表达能力和资源效率的角度来看，Mud模型的计算能力与流算法相比如何？
• RQ5 Mud模型能否被推广以支持多键或更复杂的可扩展分布式数据处理模式？

主要发现

• 任何可通过流算法以polylog(n)空间和通信复杂度计算的对称函数，同样可由Mud算法以相近的polylog(n)空间和通信复杂度实现。
• 通过非确定性模拟和Savitch定理，建立了流计算与Mud计算之间的等价性，证明Mud模型能够捕捉对称函数的流计算能力。
• 该模型证明，私有随机性和不确定函数的扩展在Mud模型下不可行，这一结论由通信复杂性下界支持。
• 存在一个确定性流算法，可在polylog(n)空间内解决对称索引问题，但任何确定性通信协议对此问题均需Ω(n)通信量，从而在通信模型中证明了分离性。
• 由Mud算法可计算的不确定函数类（iMUD）严格包含于由流算法可计算的不确定函数类（iSS）中，即iMUD ⊂ iSS。
• 研究结果形式化并验证了现代分布式日志处理系统设计背后的直觉，表明其计算模型既强大又具有坚实的理论基础。