[论文解读] Skew in Parallel Query Processing

Paul Beame, Paraschos Koutris+1 more|arXiv (Cornell University)|Jan 9, 2014

Graph Theory and Algorithms参考文献 12被引用 11

一句话总结

该论文在数据倾斜条件下，为单轮并行系统中计算连接查询建立了紧致的通信复杂度界限。通过引入查询的分数边打包和残留查询（用于处理热点数据）的框架，证明了上下界匹配（仅相差polylog $ p $ 因子），将先前针对均匀数据的结果推广至倾斜数据，并首次为感知倾斜的并行查询处理提供了正式的下界。

ABSTRACT

We study the problem of computing a conjunctive query q in parallel, using p of servers, on a large database. We consider algorithms with one round of communication, and study the complexity of the communication. We are especially interested in the case where the data is skewed, which is a major challenge for scalable parallel query processing. We establish a tight connection between the fractional edge packings of the query and the amount of communication, in two cases. First, in the case when the only statistics on the database are the cardinalities of the input relations, and the data is skew-free, we provide matching upper and lower bounds (up to a poly log p factor) expressed in terms of fractional edge packings of the query q. Second, in the case when the relations are skewed and the heavy hitters and their frequencies are known, we provide upper and lower bounds (up to a poly log p factor) expressed in terms of packings of residual queries obtained by specializing the query to a heavy hitter. All our lower bounds are expressed in the strongest form, as number of bits needed to be communicated between processors with unlimited computational power. Our results generalizes some prior results on uniform databases (where each relation is a matching) [4], and other lower bounds for the MapReduce model [1].

研究动机与目标

• 为解决并行查询处理中的数据倾斜问题，即热点数据导致服务器间负载不均。
• 为在单轮并行模型中计算连接查询的通信成本建立正式的下界。
• 将先前针对均匀数据库的工作扩展到更现实的倾斜数据场景，其中已知热点数据及其频率。
• 使用分数边打包和残留查询打包，为通信复杂度提供上下界匹配（仅相差polylog $ p $ 因子）。
• 将先前在MapReduce和MPC模型中的结果推广至处理倾斜数据，并提供更强的理论保证。

提出的方法

• 作者在具有 $ p $ 台服务器的单轮通信模型中建模该问题，假设已知输入关系的基数以及热点数据的标识和频率。
• 基于服务器之间传输的比特数定义通信成本，假设计算能力无限。
• 对于无倾斜数据，通信成本通过查询的超图表示的分数边打包来界定。
• 对于倾斜数据，成本通过将原始查询针对每个热点数据特化后形成的残留查询的分数边打包来界定。
• 使用HyperCube算法作为构造上界的基线，其维度通过分数边打包进行优化。
• 通过分数边覆盖与通信复杂度之间的对偶性，利用分数打包的优化推导出理论界限。

实验结果

研究问题

• RQ1 当数据倾斜时，在单轮内计算连接查询所需的最小通信量是多少？
• RQ2 热点数据如何影响并行查询处理的通信复杂度，能否对其进行定量建模？
• RQ3 查询或其残留形式的分数边打包能否在存在倾斜的情况下提供通信成本的紧致界限？
• RQ4 无倾斜情况下的界限如何推广至已知热点数据的倾斜数据库？
• RQ5 现有模型（如MapReduce或MPC）在多大程度上无法捕捉倾斜条件下的通信成本，如何对其进行扩展？

主要发现

• 对于无倾斜数据库，通信成本由查询超图的分数边打包紧致界定（仅相差polylog $ p $ 因子）。
• 对于倾斜数据库，通信成本由将原始查询针对每个热点数据特化后得到的残留查询的分数边打包紧致界定（仅相差polylog $ p $ 因子）。
• 该界限同时为上界和下界，且以最强形式证明：即在计算能力无限的条件下，服务器之间必须通信的比特数。
• 结果推广了先前针对均匀数据库的工作，并将MapReduce模型中的已知下界扩展至倾斜数据。
• 当维度按最优分数边打包选择时，HyperCube算法可达到上界。
• 在MapReduce风格模型中，即使关系大小不同，复制率也受到分数边打包和关系大小的函数下界约束。