[论文解读] Sorting, Searching, and Simulation in the MapReduce Framework

Michael T. Goodrich, Nodari Sitchinava+1 more|arXiv (Cornell University)|Jan 10, 2011

Complexity and Algorithms in Graphs参考文献 12被引用 32

一句话总结

本文提出了高效的 MapReduce 算法，用于排序、搜索和并行算法模拟，通过 O(log_M N) 轮和 O(N log_M N) 通信复杂度实现最优性能。通过利用多搜索和基于枢纽的分桶技术，实现在每处理器子线性内存下的常数轮执行，推进了 MapReduce 的理论基础。

ABSTRACT

In this paper, we study the MapReduce framework from an algorithmic standpoint and demonstrate the usefulness of our approach by designing and analyzing efficient MapReduce algorithms for fundamental sorting, searching, and simulation problems. This study is motivated by a goal of ultimately putting the MapReduce framework on an equal theoretical footing with the well-known PRAM and BSP parallel models, which would benefit both the theory and practice of MapReduce algorithms. We describe efficient MapReduce algorithms for sorting, multi-searching, and simulations of parallel algorithms specified in the BSP and CRCW PRAM models. We also provide some applications of these results to problems in parallel computational geometry for the MapReduce framework, which result in efficient MapReduce algorithms for sorting, 2- and 3-dimensional convex hulls, and fixed-dimensional linear programming. For the case when mappers and reducers have a memory/message-I/O size of $M=Θ(N^ε)$, for a small constant $ε>0$, all of our MapReduce algorithms for these applications run in a constant number of rounds.

研究动机与目标

• 建立与 PRAM 和 BSP 模型相当的 MapReduce 框架理论基础。
• 设计用于排序、多搜索和并行算法模拟等基本问题的高效 MapReduce 算法。
• 在每处理器子线性内存下，实现排序和计算几何问题的常数轮执行。
• 展示在 MapReduce 中实现快速索引搜索的可行性，反驳其效率低下的批评。
• 为云和集群环境中的数据密集型计算提供实用且理论严谨的框架。

提出的方法

• 使用随机枢纽将输入数据划分为桶，以实现并行排序。
• 在已排序的枢纽上构建搜索树，并通过多搜索将每个输入项分配到正确的桶中。
• 递归地在每个桶上并行应用排序算法，以减小问题规模。
• 设计一种修改后的 MapReduce 模型，允许每轮每个节点最多处理 M 个元素，从而支持 BSP 和 PRAM 算法的模拟。
• 使用 FIFO 输入缓冲区和队列中的边维护机制，管理消息流并保留跨轮次的数据结构。
• 利用每个节点每轮最多发送和接收 M 个元素的事实，确保 I/O 和通信复杂度有界。

实验结果

研究问题

• RQ1 在 MapReduce 模型中，是否能以常数轮次高效地完成排序和搜索？
• RQ2 如何以低开销在 MapReduce 中模拟来自 BSP 和 CRCW PRAM 模型的并行算法？
• RQ3 MapReduce 中多搜索的通信复杂度和轮次复杂度是多少？是否可以优化？
• RQ4 能否使用所提技术在 MapReduce 中高效实现凸包和线性规划算法？
• RQ5 MapReduce 在支持索引化和结构化数据访问方面的理论极限是什么？

主要发现

• 所提出的排序算法以高概率在 O(log_M N) 轮内运行，通信复杂度为 O(N log_M N)。
• 通过在 Θ(√N) 个随机枢纽上构建的搜索树实现多搜索，实现高效的桶分配。
• 当每个映射器和归约器的内存 M = Θ(N^ε)（ε > 0 为小常数）时，算法实现常数轮性能。
• 修改后的 MapReduce 模型可在 O(R) 轮和 O(C) 通信复杂度内模拟 BSP 和 PRAM 算法，且保持效率。
• 该框架支持在常数轮内高效计算二维和三维凸包以及固定维数的线性规划问题。
• 通过基于枢纽的方法，通信复杂度从暴力排序的 O(N² log_M N) 降低至 O(N log_M N)。