[论文解读] Sparsified Cholesky Solvers for SDD linear systems

Yin Tat Lee, Richard Peng+1 more|arXiv (Cornell University)|Jun 26, 2015

Matrix Theory and Algorithms参考文献 14被引用 22

一句话总结

本文提出用于对称对角占优（SDD）和拉普拉斯矩阵的稀疏化Cholesky分解，实现了线性工作量和对数多对数时间复杂度的求解器。通过递归顶点稀疏化和Schur补近似，该方法实现了求解SDD系统的近线性工作量和$O(\mathrm{polylog}\ n)$的深度。

ABSTRACT

We show that Laplacian and symmetric diagonally dominant (SDD) matrices can be well approximated by linear-sized sparse Cholesky factorizations. We show that these matrices have constant-factor approximations of the form $L L^{T}$, where $L$ is a lower-triangular matrix with a number of nonzero entries linear in its dimension. Furthermore linear systems in $L$ and $L^{T}$ can be solved in $O (n)$ work and $O(\log{n}\log^2\log{n})$ depth, where $n$ is the dimension of the matrix. We present nearly linear time algorithms that construct solvers that are almost this efficient. In doing so, we give the first nearly-linear work routine for constructing spectral vertex sparsifiers---that is, spectral approximations of Schur complements of Laplacian matrices.

研究动机与目标

• 开发一种用于求解SDD线性系统的近线性工作量和对数多对数时间复杂度的算法。
• 使用稀疏化Cholesky分解构造SDD矩阵的稀疏近似逆矩阵。
• 设计一种递归框架，以近乎线性时间构建Schur补的谱顶点稀疏化表示。
• 通过在求解器构造中使用几何递减的矩阵规模，实现与条件数无关的工作量和深度。
• 提供一种近乎线性时间的算法，用于构造深度为$n^{o(1)}$的求解器，相较于先前依赖条件数的工作有所改进。

提出的方法

• 通过递归消除低度顶点子集来减小图的规模，同时保持谱近似。
• 在顶点消除后对剩余图的Schur补应用谱稀疏化（来自BSS12）。
• 构造一种类似Cholesky的稀疏分解$\mathbf{L}\mathbf{L}^T$，其中非零元数量为$O(n)$，以近似SDD矩阵的逆矩阵。
• 利用顶点稀疏化链的递归构造，构建深度为$O(\log^2 n \log\log n)$、每次应用工作量为$O(n)$的求解器。
• 利用较大图的Schur补近似来模拟有界度数图，从而实现深度降低。
• 引入一种递归算法$\textsc{RecursiveConstruct}_r$，用于构建深度为$O(n^{o(1)})$、工作量为$O(m\log n + n\log^{2+o(1)}n)$的求解器。

实验结果

研究问题

• RQ1 SDD矩阵能否通过具有$O(n)$非零元和线性工作量的稀疏Cholesky分解来近似？
• RQ2 SDD求解器的深度和工作量能否实现与条件数无关？
• RQ3 是否可能以近乎线性时间与对数多对数深度构造Schur补的谱顶点稀疏化表示？
• RQ4 递归稀疏化与Schur补近似能否用于将求解器深度降低至$n^{o(1)}$？
• RQ5 在稀疏化Cholesky分解中，构造工作量与求解器深度之间存在何种权衡？

主要发现

• 每个SDD矩阵都存在一种稀疏Cholesky分解$\mathbf{L}\mathbf{L}^T$，其非零元数量为$O(n)$，且能以常数因子近似逆矩阵。
• 求解器可在$O(m\log\epsilon^{-1})$工作量和$O(\log^2 n \log\log n \log\epsilon^{-1})$深度内计算出$\mathbf{A}\mathbf{x} = \mathbf{b}$的$\epsilon$-近似解。
• 通过递归稀疏化链可构造出近线性工作量和$O(n^{o(1)})$深度的求解器，求解深度为$O(\log^{2+o(1)}n)$。
• 当设置$r = \log\log\log n$时，构造时间为$O(m\log n + n\log^{2+o(1)}n)$，深度为$O(n^{o(1)})$。
• 该算法通过在乘积近似中使用几何递减的矩阵规模，避免了对条件数的依赖。
• 本文首次提供了用于构造拉普拉斯矩阵Schur补的谱顶点稀疏化表示的近乎线性工作量算法。