[论文解读] Sublinear-Time Algorithms for Counting Star Subgraphs with Applications to Join Selectivity Estimation

Aliakbarpour, Maryam, Biswas, Amartya Shankha+4 more|arXiv (Cornell University)|Jan 17, 2016

Distributed systems and fault tolerance参考文献 36被引用 5

一句话总结

本论文通过均匀采样边，提出了用于估计图中p-星子图数量以及数据库中自连接和等值连接查询选择性的亚线性时间算法。其查询复杂度为$\tilde{O}(m \log \log n / (\varepsilon^2 S_p^{1/p}))$，显著优于仅依赖顶点采样的先前方法，并通过Yao原理和具有耦合边查询的显式图构造，建立了近乎紧致的下界。

ABSTRACT

We study the problem of estimating the value of sums of the form $S_p riangleq \sum \binom{x_i}{p}$ when one has the ability to sample $x_i \geq 0$ with probability proportional to its magnitude. When $p=2$, this problem is equivalent to estimating the selectivity of a self-join query in database systems when one can sample rows randomly. We also study the special case when $\{x_i\}$ is the degree sequence of a graph, which corresponds to counting the number of $p$-stars in a graph when one has the ability to sample edges randomly. Our algorithm for a $(1 \pm \varepsilon)$-multiplicative approximation of $S_p$ has query and time complexities $Ø(\frac{m \log \log n}{ε^2 S_p^{1/p}})$. Here, $m=\sum x_i/2$ is the number of edges in the graph, or equivalently, half the number of records in the database table. Similarly, $n$ is the number of vertices in the graph and the number of unique values in the database table. We also provide tight lower bounds (up to polylogarithmic factors) in almost all cases, even when $\{x_i\}$ is a degree sequence and one is allowed to use the structure of the graph to try to get a better estimate. We are not aware of any prior lower bounds on the problem of join selectivity estimation. For the graph problem, prior work which assumed the ability to sample only \emph{vertices} uniformly gave algorithms with matching lower bounds [Gonen, Ron, and Shavitt. extit{SIAM J. Comput.}, 25 (2011), pp. 1365-1411]. With the ability to sample edges randomly, we show that one can achieve faster algorithms for approximating the number of star subgraphs, bypassing the lower bounds in this prior work. For example, in the regime where $S_p\leq n$, and $p=2$, our upper bound is $ ilde{O}(n/S_p^{1/2})$, in contrast to their $Ω(n/S_p^{1/3})$ lower bound when no random edge queries are available.

研究动机与目标

• 设计高效的亚线性时间算法，用于在可均匀采样边的情况下估计图中p-星子图的数量。
• 将这些算法应用于数据库系统中，以最小化数据访问量，估计自连接和等值连接查询的选择性。
• 在均匀边采样下，建立估计$S_p = \sum \binom{x_i}{p}$的查询复杂度的近乎紧致下界，即使利用图结构亦然。
• 证明边采样可实现比仅顶点采样更快的估计，从而绕过文献中既有的下界。
• 分析在有向图中计数长度为2的有向路径的复杂度，表明在入度与出度比值有界时，可实现亚线性算法。

提出的方法

• 以均匀随机边采样作为主要查询原语，从而高效估计$S_p = \sum \binom{x_i}{p}$，其中$x_i$为度数或频率计数。
• 设计了一种亚线性估计器，其查询与时间复杂度为$\tilde{O}(m \log \log n / (\varepsilon^2 S_p^{1/p}))$，其中$m$为边数，$S_p$为目标和。
• 应用Yao原理，通过构造两个图族$\mathcal{F}_1$和$\mathcal{F}_2$，其$S_p$值不同但通过随机边查询无法区分，从而证明下界。
• 使用耦合论证，确保在两个图族中随机边查询以高概率返回相同的边，迫使任何算法必须进行大量查询才能区分它们。
• 在入度与出度比值有界的假设下，将有向路径计数问题约化为无向情形，从而实现亚线性算法。
• 采用显式邻接表表示，以避免随机图构造中出现的自环和多重边问题。

实验结果

研究问题

• RQ1 我们能否仅通过均匀随机边查询来估计图中p-星子图的数量，以及其效率如何？
• RQ2 在连接选择性估计的背景下，采样边与采样顶点时估计$S_p = \sum \binom{x_i}{p}$的复杂度有何比较？
• RQ3 使用随机边查询估计$S_p$的信息论极限（下界）是什么？与先前工作相比如何？
• RQ4 在何种条件下，可在有向图中以亚线性时间估计长度为2的有向路径数量？
• RQ5 当拥有边采样时，是否能通过利用图结构实现比仅顶点采样更优的查询复杂度？

主要发现

• 所提出的算法实现了$\tilde{O}(m \log \log n / (\varepsilon^2 S_p^{1/p}))$的查询复杂度，该复杂度在输入规模上为亚线性，且在多对数因子内最优。
• 当$S_p \leq n$且$p=2$时，算法运行时间为$\tilde{O}(n / S_p^{1/2})$，优于仅使用顶点采样的先前工作所给出的$\Omega(n / S_p^{1/3})$下界。
• 对于$S_p = O(n^p)$，论文建立了$\Omega(n^{1-1/p})$的下界，表明该算法在该情形下复杂度近乎最优。
• 当$S_p = \Omega(n^p)$时，下界为$\Omega(n^{p-1/p} / S_p^{1-1/p})$，与算法复杂度仅相差对数因子。
• 一般情况下，有向路径计数无法在亚线性时间内解决，但当入度与出度比值有界时，问题可解。
• 作者提供了首个已知的连接选择性估计下界，并证明边采样可实现比仅顶点采样更快的可证明估计。