[论文解读] Nearly-Linear Time Algorithms for Preconditioning and Solving Symmetric, Diagonally Dominant Linear Systems

Daniel A. Spielman, Shang‐Hua Teng|arXiv (Cornell University)|Jul 24, 2006

Matrix Theory and Algorithms参考文献 24被引用 70

一句话总结

本文提出了一种基于递归子图预条件法的近乎线性时间算法，用于求解对称的、对角占优（SDD）线性系统。通过使用图论技术构建超稀疏化图，该方法在高概率下实现了求解SDD系统的期望时间复杂度为 O(m log^c n log(1/ǫ))，并应用于Fiedler向量计算与稀疏矩阵预条件化。

ABSTRACT

We present a randomized algorithm that, on input a symmetric, weakly diagonally dominant n-by-n matrix A with m nonzero entries and an n-vector b, produces a y such that $ orm{y - \pinv{A} b}_{A} \leq ε orm{\pinv{A} b}_{A}$ in expected time $O (m \log^{c}n \log (1/ε)),$ for some constant c. By applying this algorithm inside the inverse power method, we compute approximate Fiedler vectors in a similar amount of time. The algorithm applies subgraph preconditioners in a recursive fashion. These preconditioners improve upon the subgraph preconditioners first introduced by Vaidya (1990). For any symmetric, weakly diagonally-dominant matrix A with non-positive off-diagonal entries and $k \geq 1$, we construct in time $O (m \log^{c} n)$ a preconditioner B of A with at most $2 (n - 1) + O ((m/k) \log^{39} n)$ nonzero off-diagonal entries such that the finite generalized condition number $κ_{f} (A,B)$ is at most k, for some other constant c. In the special case when the nonzero structure of the matrix is planar the corresponding linear system solver runs in expected time $ O (n \log^{2} n + n \log n \ \log \log n \ \log (1/ε))$. We hope that our introduction of algorithms of low asymptotic complexity will lead to the development of algorithms that are also fast in practice.

研究动机与目标

• 开发一种求解对称的、弱对角占优（SDD0）线性系统的近乎线性时间算法。
• 设计一种预条件化构造方法，确保广义条件数较低的同时保持稀疏性。
• 通过在求解器上应用逆幂法，实现近似Fiedler向量的高效计算。
• 将算法扩展至平面稀疏结构，实现改进的 O(n log²n + n log n log log n log(1/ǫ)) 时间复杂度。
• 为通过图论预条件化加速迭代求解器提供理论基础。

提出的方法

• 使用与关联加权图 G 的子图 H 构造 SDD0 矩阵 A 的预条件化矩阵 B，其中 H 是图 G 的超稀疏化图。
• 递归应用预条件共轭梯度法或切比雪夫方法，其预条件化矩阵由超稀疏化图构建。
• 使用部分Cholesky分解在时间复杂度线性内减小系统规模，同时保持稀疏性并支持递归求解。
• 应用多级算法，递归地从更稀疏的子图构建预条件化矩阵，利用低拉伸生成树。
• 使用 TreeUltraSparsify 和 RootedUltraSparsify 子程序，构建具有受控边数和谱近似的超稀疏化图。
• 利用支撑理论与谱图论，界定有限广义条件数 κf(A, B) ≤ k，确保迭代求解器的快速收敛。

实验结果

研究问题

• RQ1 能否使用基于图的预条件化方法，在近乎线性时间内求解对称的、对角占优线性系统？
• RQ2 为确保广义条件数有界，预条件化矩阵所需的最少非对角非零元素数量是多少？
• RQ3 如何高效构建超稀疏化图，以在减少边数的同时保持谱近似？
• RQ4 当矩阵结构为平面时，求解SDD系统的渐近时间复杂度是多少？
• RQ5 所得到的求解器能否通过在求解器上应用逆幂法，高效计算近似Fiedler向量？

主要发现

• 该算法在期望时间 O(m log^c n log(1/ǫ)) 内求解对称的、弱对角占优线性系统，其中常数 c 为某一定值。
• 对于任意具有非正对角非元素的 SDD0 矩阵 A 以及 k ≥ 1，可在 O(m log^c n) 时间内构造出预条件化矩阵 B，其非对角非零元素数量不超过 2(n−1) + O((m/k) log^39 n)。
• 有限广义条件数满足 κf(A, B) ≤ k，确保迭代求解器的快速收敛。
• 在平面情况下，求解器的期望运行时间为 O(n log²n + n log n log log n log(1/ǫ))。
• 该算法在所述时间内以高概率生成 ˜x，使得 ||˜x − A†b||_A ≤ ǫ||A†b||_A。
• 超稀疏化图构造算法 UltraSparsify 以期望时间 O(m log^c n) 运行，并以高概率返回一组边 U，使得 U ≼ E ≼ kU。