[论文解读] Worst-Case Optimal Algorithms for Parallel Query Processing

Paul Beame, Paraschos Koutris+1 more|arXiv (Cornell University)|Apr 7, 2016

Complexity and Algorithms in Graphs参考文献 16被引用 28

一句话总结

本文在大规模并行计算（MPC）模型中提出了针对并行查询处理的最坏情况最优算法，引入了一种新的查询参数——边拟打包数（edge quasi-packing number），以实现最优通信负载。研究建立了单轮与多轮算法的紧致上下界，并揭示了MPC模型与外部内存模型之间的新联系，从而推导出合取查询的I/O最优算法，恢复并扩展了近期结果，误差因子为多对数级。

ABSTRACT

In this paper, we study the communication complexity for the problem of computing a conjunctive query on a large database in a parallel setting with $p$ servers. In contrast to previous work, where upper and lower bounds on the communication were specified for particular structures of data (either data without skew, or data with specific types of skew), in this work we focus on worst-case analysis of the communication cost. The goal is to find worst-case optimal parallel algorithms, similar to the work of [18] for sequential algorithms. We first show that for a single round we can obtain an optimal worst-case algorithm. The optimal load for a conjunctive query $q$ when all relations have size equal to $M$ is $O(M/p^{1/ψ^*})$, where $ψ^*$ is a new query-related quantity called the edge quasi-packing number, which is different from both the edge packing number and edge cover number of the query hypergraph. For multiple rounds, we present algorithms that are optimal for several classes of queries. Finally, we show a surprising connection to the external memory model, which allows us to translate parallel algorithms to external memory algorithms. This technique allows us to recover (within a polylogarithmic factor) several recent results on the I/O complexity for computing join queries, and also obtain optimal algorithms for other classes of queries.

研究动机与目标

• 在MPC模型中，为合取查询设计最坏情况最优的并行算法，且不受数据倾斜影响。
• 识别一种新的查询参数——边拟打包数（edge quasi-packing number），以表征最优通信负载。
• 将框架扩展至多轮场景，并为广泛查询类别的算法建立最优性。
• 建立MPC模型与外部内存模型之间的桥梁，实现将并行算法系统性地转化为I/O高效的外部内存算法。
• 通过所提出的转换方法，恢复并推广近期关于连接查询的I/O复杂度结果。

提出的方法

• 引入边拟打包数 ψ* 作为衡量查询选择性的新指标，用于确定最坏情况下的通信负载。
• 提出一种参数化的HyperCube算法，通过基于倾斜属性值分配份额来适应数据倾斜。
• 通过证明基于 ψ* 的负载紧致上下界，建立单轮最优性。
• 应用一种模拟技术，将MPC算法转换为外部内存算法，同时保持轮数复杂度与负载不变。
• 利用该转换方法，推导出三角形查询与线性查询的I/O最优算法，其结果与已知界仅相差多对数因子。
• 采用三步I/O成本分析：初始化、内存内处理和外部存储写入，以界定总I/O成本。

实验结果

研究问题

• RQ1 在无自连接的完整合取查询中，单轮MPC算法的最坏情况通信负载是多少？
• RQ2 边拟打包数 ψ* 与已知查询参数（如边打包数与边覆盖数）之间有何关系？
• RQ3 能否为多种查询类别设计多轮场景下的最坏情况最优算法？
• RQ4 如何系统性地将MPC算法转换为I/O高效的外部内存算法？
• RQ5 所推导的I/O成本在多大程度上与现有合取查询结果相匹配或更优？

主要发现

• 对于单轮场景，大小为M的所有关系的合取查询q的最优负载为 O(M / p^{1/ψ*})，其中 ψ* 为边拟打包数。
• 边拟打包数 ψ* 与边打包数及边覆盖数均不同，能更紧密地刻画最坏情况下的通信负载。
• 对于多轮场景，本文为若干查询类别（包括三角形查询与线性查询）提出了最优算法。
• 从MPC到外部内存的转换方法，其I/O成本与已知最优界仅相差多对数因子，例如三角形查询的复杂度为 Õ(m^{3/2}/(BW^{1/2}))。
• 该方法恢复了以往工作对线性查询 L_k 的I/O复杂度，达到 Õ((m/W)^{⌈(k+1)/2⌉} · W/B) 的I/O成本。
• MPC与外部内存模型之间的联系，为未来研究提供了反向模拟方向的潜力。