[论文解读] Spectral Sparsification of Random-Walk Matrix Polynomials

Dehua Cheng, Yu Cheng+3 more|arXiv (Cornell University)|Feb 12, 2015

Matrix Theory and Algorithms参考文献 6被引用 10

一句话总结

本论文提出了首个针对形式为 $\mathbf{L}_{\bm{\alpha}}(G) = \mathbf{D} - \sum_{r=1}^{d} \alpha_r \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r$ 的随机游走矩阵多项式的近乎线性时间谱稀疏化算法，实现了 $\tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G)$，且非零元数量为 $O(n\log n/\epsilon^2)$，时间复杂度为 $O(d^2 m \log^2 n / \epsilon^2)$。该方法利用路径采样与谱稀疏化器组合，高效近似高阶随机游走转移。

ABSTRACT

We consider a fundamental algorithmic question in spectral graph theory: Compute a spectral sparsifier of random-walk matrix-polynomial $$L_α(G)=D-\sum_{r=1}^dα_rD(D^{-1}A)^r$$ where $A$ is the adjacency matrix of a weighted, undirected graph, $D$ is the diagonal matrix of weighted degrees, and $α=(α_1...α_d)$ are nonnegative coefficients with $\sum_{r=1}^dα_r=1$. Recall that $D^{-1}A$ is the transition matrix of random walks on the graph. The sparsification of $L_α(G)$ appears to be algorithmically challenging as the matrix power $(D^{-1}A)^r$ is defined by all paths of length $r$, whose precise calculation would be prohibitively expensive. In this paper, we develop the first nearly linear time algorithm for this sparsification problem: For any $G$ with $n$ vertices and $m$ edges, $d$ coefficients $α$, and $ε> 0$, our algorithm runs in time $O(d^2m\log^2n/ε^{2})$ to construct a Laplacian matrix $ ilde{L}=D- ilde{A}$ with $O(n\log n/ε^{2})$ non-zeros such that $ ilde{L}\approx_εL_α(G)$. Matrix polynomials arise in mathematical analysis of matrix functions as well as numerical solutions of matrix equations. Our work is particularly motivated by the algorithmic problems for speeding up the classic Newton's method in applications such as computing the inverse square-root of the precision matrix of a Gaussian random field, as well as computing the $q$th-root transition (for $q\geq1$) in a time-reversible Markov model. The key algorithmic step for both applications is the construction of a spectral sparsifier of a constant degree random-walk matrix-polynomials introduced by Newton's method. Our algorithm can also be used to build efficient data structures for effective resistances for multi-step time-reversible Markov models, and we anticipate that it could be useful for other tasks in network analysis.

研究动机与目标

• 解决随机游走矩阵多项式的谱稀疏化算法挑战，此类矩阵因涉及矩阵幂运算而密集且计算成本高昂。
• 通过稀疏化实现时间可逆马尔可夫模型中逆平方根与 $q$-阶根转移的高效计算。
• 设计一种可扩展的近乎线性时间算法，用于构建数值方法中出现的复杂矩阵多项式的谱相似稀疏近似。
• 通过路径采样而非直接计算完整矩阵幂，克服计算 $ (\mathbf{D}^{-1}\mathbf{A})^r $ 的高昂成本。
• 为有效电阻的快速数据结构及网络分析与高斯图模型中的改进算法提供基础。

提出的方法

• 利用路径采样将每个单项 $ \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r $ 表示为长度为 $ r $ 的路径对应的关联向量之和。
• 通过按有效电阻成比例采样边的方式，应用谱稀疏化器构造，利用路径诱导矩阵的结构。
• 将每个单项 $ \mathbf{M}_r = \mathbf{D}_r - \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r + \mathbf{D}_{\text{extra}} $ 分解为拉普拉斯矩阵与对角校正项，以支持稀疏化。
• 利用引理 5.2 限制路径边的逆有效电阻，确保采样的浓度界。
• 通过组合稀疏化后的路径图并利用矩阵-向量乘法计算对角校正项 $ \mathbf{D}_{\text{extra}} $，构建最终稀疏化器 $ \tilde{\mathbf{L}} $。
• 通过谱相似性与误差传播组合各单项的稀疏化器，实现 $ \tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G) $。

实验结果

研究问题

• RQ1 能否对形式为 $ \mathbf{L}_{\bm{\alpha}}(G) = \mathbf{D} - \sum_{r=1}^{d} \alpha_r \mathbf{D}(\mathbf{D}^{-1}\mathbf{A})^r $ 的随机游走矩阵多项式实现高效的谱稀疏化？
• RQ2 是否可以通过路径采样而非直接计算矩阵幂，避免显式构造 $ (\mathbf{D}^{-1}\mathbf{A})^r $ 的计算开销？
• RQ3 能否为有界度数 $ d $ 的矩阵多项式设计近乎线性时间的稀疏化算法，即使 $ d $ 不为常数？
• RQ4 如何在多个矩阵项不交换的情况下保持谱相似性？
• RQ5 该方法能否推广至在近乎线性时间内稀疏化任意度数 $ d $ 的随机游走矩阵多项式？

主要发现

• 该算法在 $ O(d^2 m \log^2 n / \epsilon^2) $ 时间内，以 $ O(n\log n/\epsilon^2) $ 个非零元构造出 $ \mathbf{L}_{\bm{\alpha}}(G) $ 的谱稀疏化器 $ \tilde{\mathbf{L}} $。
• 该稀疏化器满足 $ \tilde{\mathbf{L}} \approx_{\epsilon} \mathbf{L}_{\bm{\alpha}}(G) $，即 $ (1-\epsilon)\mathbf{L}_{\bm{\alpha}} \preceq \tilde{\mathbf{L}} \preceq (1+\epsilon)\mathbf{L}_{\bm{\alpha}} $，如 [ST11] 所定义。
• 通过避免显式计算矩阵幂，转而利用基于有效电阻的采样路径，该方法实现了近乎线性时间复杂度。
• 该算法适用于关键问题，如高斯图模型中的逆平方根计算与时间可逆马尔可夫链中的 $ q $-阶根转移。
• 该方法可扩展至偶数次单项式，且在 $ \epsilon = 1/\log d $ 的有界误差容忍下适用，该框架亦可推广至更高次多项式。
• 通过矩阵-向量乘法高效构造 $ \mathbf{D}_{\text{extra}} $，实现了对角校正项的精确计算。