[论文解读] Solving Directed Laplacian Systems in Nearly-Linear Time through Sparse LU Factorizations

Michael B. Cohen, Jonathan A. Kelner+5 more|arXiv (Cornell University)|Nov 26, 2018

Markov Chains and Monte Carlo Methods参考文献 9被引用 5

一句话总结

本文通过为欧拉拉普拉斯矩阵——表示入度与出度平衡的有向图的矩阵——引入稀疏近似LU分解，首次提出了求解有向拉普拉斯系统问题的近乎线性时间算法。该方法构建了具有Õ(n)个非零元素的下三角矩阵L和上三角矩阵U，它们在谱上近似原矩阵，从而实现线性系统及相关问题（如近乎线性时间内的平稳分布与个性化PageRank计算）的快速求解。

ABSTRACT

We show how to solve directed Laplacian systems in nearly-linear time. Given a linear system in an $n imes n$ Eulerian directed Laplacian with $m$ nonzero entries, we show how to compute an $ε$-approximate solution in time $O(m \log^{O(1)} (n) \log (1/ε))$. Through reductions from [Cohen et al. FOCS'16] , this gives the first nearly-linear time algorithms for computing $ε$-approximate solutions to row or column diagonally dominant linear systems (including arbitrary directed Laplacians) and computing $ε$-approximations to various properties of random walks on directed graphs, including stationary distributions, personalized PageRank vectors, hitting times, and escape probabilities. These bounds improve upon the recent almost-linear algorithms of [Cohen et al. STOC'17], which gave an algorithm to solve Eulerian Laplacian systems in time $O((m+n2^{O(\sqrt{\log n \log \log n})})\log^{O(1)}(n ε^{-1}))$. To achieve our results, we provide a structural result that we believe is of independent interest. We show that Laplacians of all strongly connected directed graphs have sparse approximate LU-factorizations. That is, for every such directed Laplacian $ {\mathbf{L}}$, there is a lower triangular matrix $\boldsymbol{\mathit{\mathfrak{L}}}$ and an upper triangular matrix $\boldsymbol{\mathit{\mathfrak{U}}}$, each with at most $ ilde{O}(n)$ nonzero entries, such that their product $\boldsymbol{\mathit{\mathfrak{L}}} \boldsymbol{\mathit{\mathfrak{U}}}$ spectrally approximates $ {\mathbf{L}}$ in an appropriate norm. This claim can be viewed as an analogue of recent work on sparse Cholesky factorizations of Laplacians of undirected graphs. We show how to construct such factorizations in nearly-linear time and prove that, once constructed, they yield nearly-linear time algorithms for solving directed Laplacian systems.

研究动机与目标

• 开发求解有向拉普拉斯系统问题的首个近乎线性时间算法，此类系统在建模有向图上的非对称过程方面具有基础性作用。
• 弥合现有近乎线性时间求解无向图系统与缺乏高效求解有向或非对称系统方法之间的长期差距。
• 提供一个结构性结果：欧拉拉普拉斯矩阵可进行稀疏近似LU分解，且每个因子中非零元素数量为Õ(n)。
• 通过先前工作的归约，实现近乎线性时间计算关键随机游走性质（如平稳分布、个性化PageRank）的目标。
• 通过消除n²O(√log n log log n)依赖项，实现比先前几乎线性算法更优的运行时间复杂度，达到Õ(m)的时间复杂度。

提出的方法

• 提出一个新颖的结构性结果：每个欧拉拉普拉斯矩阵均可进行稀疏近似LU分解，其中L与U矩阵均具有Õ(n)个非零元素，且其乘积LU在谱上近似原矩阵L。
• 通过图顶点的递归划分与分层聚类技术，在近乎线性时间内构造稀疏LU分解。
• 利用Schur补与伪逆技术，在消去步骤中保持谱近似性。
• 采用基于阶段的消去过程，结合精心选择的误差阈值与Schur补的凸组合，以控制近似误差。
• 利用算子单调性与矩阵范数不等式（例如通过引理6.3与6.6）来界定各阶段间误差的传播。
• 将该分解与迭代求解器结合，实现线性系统ǫ-近似解的计算，时间复杂度为Õ(m logO(1)(n) log(1/ǫ))。

实验结果

研究问题

• RQ1 有向拉普拉斯系统能否在近乎线性时间内求解，从而与无向拉普拉斯求解器的效率相匹配？
• RQ2 欧拉拉普拉斯矩阵——代表入度与出度平衡的有向图的矩阵——是否具有稀疏近似LU分解？
• RQ3 此类稀疏LU分解能否被高效构造，并用于在近乎线性时间内求解线性系统？
• RQ4 由此产生的算法能否在近乎线性时间内计算关键随机游走性质（如平稳分布、PageRank）？
• RQ5 误差在多个消去阶段中如何累积？能否通过Schur补的凸组合实现其有界控制？

主要发现

• 本文实现了求解欧拉拉普拉斯系统问题的首个近乎线性时间算法，其时间复杂度为Õ(m)，其中m为非零元素数量。
• 证明了每个欧拉拉普拉斯矩阵均可进行稀疏近似LU分解，且L与U矩阵中非零元素数量均为Õ(n)，其乘积在谱上近似原矩阵。
• 此类分解的构造可在近乎线性时间内完成，从而实现线性系统的快速求解。
• 该方法可在时间Õ(m logO(1)(n) log(1/ǫ))内计算出有向拉普拉斯系统的ǫ-近似解。
• 该方法可实现有向图上平稳分布、个性化PageRank向量、 hitting times（ hitting 时间）与逃逸概率的近乎线性时间计算。
• 与先前几乎线性求解器相比，该算法通过消除n²O(√log n log log n)项，实现了更清晰的Õ(m)边数依赖关系。