[论文解读] Single Pass Spectral Sparsification in Dynamic Streams

Michael Kapralov, Yin Tat Lee+3 more|arXiv (Cornell University)|Jul 4, 2014

Stochastic Gradient Optimization Techniques参考文献 23被引用 5

一句话总结

本文提出了首个在动态半流模型中实现谱稀疏化的单遍算法，利用图的关联矩阵的随机线性投影，在 $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ 空间内运行。该算法可高概率地按需输出 $(1\pm\epsilon)$ 谱稀疏化子，显著优于此前单遍动态谱稀疏化所需的 $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ 空间复杂度。

ABSTRACT

We present the first single pass algorithm for computing spectral sparsifiers of graphs in the dynamic semi-streaming model. Given a single pass over a stream containing insertions and deletions of edges to a graph G, our algorithm maintains a randomized linear sketch of the incidence matrix of G into dimension O((1/epsilon^2) n polylog(n)). Using this sketch, at any point, the algorithm can output a (1 +/- epsilon) spectral sparsifier for G with high probability. While O((1/epsilon^2) n polylog(n)) space algorithms are known for computing "cut sparsifiers" in dynamic streams [AGM12b, GKP12] and spectral sparsifiers in "insertion-only" streams [KL11], prior to our work, the best known single pass algorithm for maintaining spectral sparsifiers in dynamic streams required sketches of dimension Omega((1/epsilon^2) n^(5/3)) [AGM14]. To achieve our result, we show that, using a coarse sparsifier of G and a linear sketch of G's incidence matrix, it is possible to sample edges by effective resistance, obtaining a spectral sparsifier of arbitrary precision. Sampling from the sketch requires a novel application of ell_2/ell_2 sparse recovery, a natural extension of the ell_0 methods used for cut sparsifiers in [AGM12b]. Recent work of [MP12] on row sampling for matrix approximation gives a recursive approach for obtaining the required coarse sparsifiers. Under certain restrictions, our approach also extends to the problem of maintaining a spectral approximation for a general matrix A^T A given a stream of updates to rows in A.

研究动机与目标

• 设计一种在动态半流模型中实现谱稀疏化的单遍算法，其中边的插入与删除以流的形式出现。
• 将动态谱稀疏化器的空间复杂度从 $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ 降低至 $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$，与目前已知的割稀疏化器的最佳界限相匹配。
• 通过关联矩阵的线性投影，实现基于有效电阻的边高效采样，这对构建高精度谱稀疏化器至关重要。
• 将该方法扩展至在行更新流中维护形式为 $A^\top A$ 的一般矩阵的谱近似。

提出的方法

• 使用 $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ 空间维护图的关联矩阵 $\mathbf{B}$ 的随机线性投影，通过线性代数运算支持动态更新。
• 利用图的粗略谱稀疏化器作为基础，通过投影实现有效电阻采样。
• 应用 $\ell_2/\ell_2$ 稀疏恢复技术对基于有效电阻的边进行采样，扩展了割稀疏化器算法中使用的 $\ell_0$ 方法。
• 利用 [MP12] 中的递归行采样技术，在流式环境中高效构建所需的粗略稀疏化器。
• 使用 Nisan 的伪随机数生成器对随机哈希函数进行压缩，将空间从 $O(n^2\log n)$ 降低至 $O(n\cdot \mathop{\mathrm{poly}}\log n)$，同时保持正确性且失败概率可忽略。
• 确保投影操作在边的顺序下保持可交换性，从而通过按需生成伪随机位，使算法可应用于任意更新序列。

实验结果

研究问题

• RQ1 能否在动态半流模型中设计出一种单遍谱稀疏化算法，其空间复杂度与割稀疏化器相当？
• RQ2 是否可能仅通过关联矩阵的线性投影，在动态流中实现基于有效电阻的边采样？
• RQ3 $\ell_2/\ell_2$ 稀疏恢复能否有效应用于动态流中的谱稀疏化，从而扩展 $\ell_0$ 方法在割稀疏化器中的应用？
• RQ4 如何对伪随机哈希函数进行压缩，以在保持子线性空间的同时维持投影过程的正确性？
• RQ5 该框架能否推广至在行更新流中维护任意矩阵 $A^\top A$ 的谱近似？

主要发现

• 本文首次在动态半流模型中实现了空间复杂度为 $O(\frac{1}{\epsilon^2}n\cdot \mathop{\mathrm{poly}}\log n)$ 的单遍谱稀疏化器，优于先前 $\Omega(\frac{1}{\epsilon^2}n^{5/3})$ 的空间界限。
• 该算法维护了关联矩阵的线性投影，支持动态边的插入与删除，从而实现实时构建谱稀疏化器。
• 通过创新性地应用 $\ell_2/\ell_2$ 稀疏恢复技术，实现了基于有效电阻的边采样，将 $\ell_0$ 方法在割稀疏化器中的技术扩展至谱稀疏化。
• 使用伪随机数生成器将随机哈希函数所需的空间从 $O(n^2\log n)$ 降低至 $O(n\cdot \mathop{\mathrm{poly}}\log n)$，仅导致失败概率的可忽略增加。
• 该方法可推广至在相同空间与遍数约束下，维护行更新流中形式为 $A^\top A$ 的矩阵的谱近似。
• 该算法确保在流处理过程中的任意时刻，输出的谱稀疏化器均为 $(1\pm\epsilon)$-谱稀疏化器，且高概率成立。