[论文解读] Solving Sparse, Symmetric, Diagonally-Dominant Linear Systems in Time $O (m^{1.31})$

Daniel A. Spielman, Shang‐Hua Teng|ArXiv.org|Oct 17, 2003

Matrix Theory and Algorithms参考文献 14被引用 23

一句话总结

本论文提出了一种新颖的算法，用于在时间 $O(m^{1.31} ext{ polylog}(n ilde{ ho}/ ilde{ ho}))$ 内求解稀疏、对称、对角占优的线性系统，其中 $m$ 为非零条目数，$ilde{ ho}$ 为对数条件数。该方法通过改进 Vaidya 的组合预条件化框架，优化了条件数的界，并递归应用一种基于平均度的新预条件化构造，从而在具有低亏格或排除子式的图中实现更快的收敛速度。

ABSTRACT

We present a linear-system solver that, given an $n$-by-$n$ symmetric positive semi-definite, diagonally dominant matrix $A$ with $m$ non-zero entries and an $n$-vector $\bb $, produces a vector $\xxt$ within relative distance $ε$ of the solution to $A \xx = \bb$ in time $O (m^{1.31} \log (n κ_{f} (A)/ε)^{O (1)})$, where $κ_{f} (A)$ is the log of the ratio of the largest to smallest non-zero eigenvalue of $A$. In particular, $\log (κ_{f} (A)) = O (b \log n)$, where $b$ is the logarithm of the ratio of the largest to smallest non-zero entry of $A$. If the graph of $A$ has genus $m^{2θ}$ or does not have a $K_{m^θ} $ minor, then the exponent of $m$ can be improved to the minimum of $1 + 5 θ$ and $(9/8) (1+θ)$. The key contribution of our work is an extension of Vaidya's techniques for constructing and analyzing combinatorial preconditioners.

研究动机与目标

• 开发一种更快的算法，用于求解在科学计算和优化中常见的稀疏、对称、对角占优的线性系统。
• 通过改进 Vaidya 的组合预条件化框架，更紧密地界定预条件化系统条件数 $\kappa_f(A,B)$ 的界。
• 通过引入一种依赖于平均度而非最大度的递归预条件化构造，将时间复杂度降低至 $O(m^{1.5})$ 以下。
• 通过调整递归与预条件化设计，针对具有特殊拓扑结构（如有界亏格或排除子式）的图，实现更优的指数。
• 对递归求解器提供严格的分析，建立整体运行时间的紧致界，明确依赖于条件数和精度参数。

提出的方法

• 该算法采用递归方法，为矩阵 $A_i$ 构造一系列预条件化矩阵 $B_i$，其中每个 $B_i$ 均来自 $A_i$ 图表示的子图。
• 通过部分 $LDL^T$ 分解计算中间矩阵 $C_i$，用于界定预条件化系统条件数的界。
• 预条件化构造使用参数 $\gamma = (3 - \sqrt{5})/2 \approx 0.38$，以在条件数增长与递归深度之间实现最优权衡。
• 通过分析图嵌入的膨胀率与拥塞率，对条件数 $\kappa_f(A,B)$ 进行界定，扩展了 Boman 和 Hendrickson 的基于支撑的界。
• 递归地以更高精度求解 $A_i$ 中的系统，误差容限 $\epsilon_i$ 的选择确保最终解的整体精度为 $\epsilon$。
• 对于亏格至多为 $m^{2\theta}$ 或排除 $K_{m^\theta}$ 子式的图，该算法通过调整 $\gamma$ 实现指数 $\min(1+5\theta, (9/8)(1+\theta))$。

实验结果

研究问题

• RQ1 能否通过组合预条件化技术，将求解稀疏、对称、对角占优线性系统的复杂度降低至 $O(m^{1.5})$ 以下？
• RQ2 如何利用图论与代数技术，更紧密地界定预条件化系统条件数？
• RQ3 最小化整体运行时间的最优递归深度与预条件化构造策略为何？
• RQ4 能否在复杂度界中用平均度替代最大度，从而在稀疏图上实现更优性能？
• RQ5 有界亏格或排除子式等拓扑约束如何影响时间复杂度中的可实现指数？

主要发现

• 该算法在时间 $O(m^{1.31} \log(n\kappa_f(A)/\epsilon)^{O(1)})$ 内以相对误差 $\epsilon$ 求解 $A\mathbf{x} = \mathbf{b}$，优于以往的 $O(m^{1.5})$ 界。
• 对于亏格至多为 $m^{2\theta}$ 或排除 $K_{m^\theta}$ 子式的图，时间复杂度进一步优化为 $O(m^{\min(1+5\theta, (9/8)(1+\theta))})$。
• 通过细化图嵌入拥塞率与膨胀率的分析，界定了条件数 $\kappa_f(A,B)$，扩展了 Boman 和 Hendrickson 的基于支撑的界。
• 递归求解器采用深度为 $r$ 的递归，其中指数 $\beta_r$ 从上方趋近于 $\beta_\infty = (3 + \sqrt{5})/4 \approx 1.309$，从而得到 $O(m^{1.31})$ 的界。
• 该算法通过设定 $\gamma = (3 - \sqrt{5})/2$ 实现，该参数在递归各层上平衡了条件数的增长与子问题规模。
• 分析表明，时间复杂度主要由递归迭代主导，预处理成本可忽略，因其基于线性时间的部分分解。