[论文解读] Space- and Time-Efficient Algorithm for Maintaining Dense Subgraphs on One-Pass Dynamic Streams

Sayan Bhattacharya, Monika Henzinger+2 more|arXiv (Cornell University)|Apr 9, 2015

Complexity and Algorithms in Graphs参考文献 28被引用 4

一句话总结

本文提出了首个用于维护稠密子图的一轮动态流算法，具有最优空间复杂度和近乎常数的更新时间。该算法使用 $\tilde{O}(n)$ 空间和 $\tilde{O}(1)$ 摊销更新与查询时间，实现了 $(4+\epsilon)$-近似，显著优于先前的多轮方法，为时间与空间高效的图流处理设定了新标准。

ABSTRACT

While in many graph mining applications it is crucial to handle a stream of updates efficiently in terms of {\em both} time and space, not much was known about achieving such type of algorithm. In this paper we study this issue for a problem which lies at the core of many graph mining applications called {\em densest subgraph problem}. We develop an algorithm that achieves time- and space-efficiency for this problem simultaneously. It is one of the first of its kind for graph problems to the best of our knowledge. In a graph $G = (V, E)$, the "density" of a subgraph induced by a subset of nodes $S \subseteq V$ is defined as $|E(S)|/|S|$, where $E(S)$ is the set of edges in $E$ with both endpoints in $S$. In the densest subgraph problem, the goal is to find a subset of nodes that maximizes the density of the corresponding induced subgraph. For any $ε>0$, we present a dynamic algorithm that, with high probability, maintains a $(4+ε)$-approximation to the densest subgraph problem under a sequence of edge insertions and deletions in a graph with $n$ nodes. It uses $ ilde O(n)$ space, and has an amortized update time of $ ilde O(1)$ and a query time of $ ilde O(1)$. Here, $ ilde O$ hides a $O(\poly\log_{1+ε} n)$ term. The approximation ratio can be improved to $(2+ε)$ at the cost of increasing the query time to $ ilde O(n)$. It can be extended to a $(2+ε)$-approximation sublinear-time algorithm and a distributed-streaming algorithm. Our algorithm is the first streaming algorithm that can maintain the densest subgraph in {\em one pass}. The previously best algorithm in this setting required $O(\log n)$ passes [Bahmani, Kumar and Vassilvitskii, VLDB'12]. The space required by our algorithm is tight up to a polylogarithmic factor.

研究动机与目标

• 为在动态图流中以最小空间和时间开销维护稠密子图提供解决方案。
• 设计一种流算法，能够在单轮内高效支持边的插入与删除操作。
• 在保持强近似保证的同时，实现近乎常数的更新与查询时间。
• 通过支持实时分析，弥合理论流模型与实际动态图工作负载之间的差距。

提出的方法

• 该算法使用一种新颖的 $(\alpha,d,L)$-分解方法，以在动态更新下保持稠密子图的结构特性。
• 通过 $\ell_0$-采样和均匀哈希技术，高效采样边并维护图的紧凑摘要。
• 基于势函数的分析方法，通过限制每次更新的结构变化次数，确保摊销 $\tilde{O}(1)$ 的更新时间。
• 该算法将时间动态划分为稀疏与稠密区间，并根据边密度采用不同的优化策略。
• 在稠密区间中，使用一种特殊子程序——Dynamic-Stream，以维护采样边集，从而实现快速近似。
• 通过使用浓度界限和多对数因子，确保在 $\tilde{O}(n)$ 空间下以高概率保持正确性。

实验结果

研究问题

• RQ1 能否设计一种一轮动态流算法，在 $\tilde{O}(n)$ 空间和 $\tilde{O}(1)$ 摊销更新时间内，实现 $(4+\epsilon)$-近似稠密子图？
• RQ2 在动态图流中，能否在保持强近似比的同时实现亚线性查询时间？
• RQ3 该算法能否扩展至支持亚线性时间与分布式流处理环境，且通信量最小化？
• RQ4 空间与时间高效动态稠密子图算法的近似比理论极限是什么？
• RQ5 类似技术能否应用于其他基础图问题，如动态流中的最大匹配或最短路径？

主要发现

• 该算法在 $\tilde{O}(n)$ 空间和 $\tilde{O}(1)$ 摊销更新与查询时间内，实现了稠密子图问题的 $(4+\epsilon)$-近似。
• 通过接受 $\tilde{O}(n)$ 查询时间，可将近似比提升至 $(2+\epsilon)$，从而支持亚线性时间算法。
• 该算法是首个在动态流上实现单轮维护稠密子图的算法，优于先前所需的 $O(\log n)$ 轮。
• 它支持扩展至有向图、亚线性时间算法以及通信量为 $\tilde{O}(k+n)$ 的分布式流处理模型。
• 空间复杂度在多对通信模型下被证明是紧的，下界为 $\tilde{\Omega}(n/k^2)$。
• 针对 $\lambda$-近似算法的难解性结果表明，$\tilde{\Omega}(n/\lambda^2)$ 次查询是必要的，支持了空间界限的最优性。