[论文解读] Solving Systems of Linear Equations: Locally and Asynchronously.

Christina Lee, Asuman Ozdaglar+1 more|arXiv (Cornell University)|Nov 10, 2014

Matrix Theory and Algorithms被引用 12

一句话总结

该论文提出了一种同步和异步的随机局部算法，用于近似求解大规模稀疏线性系统 $Ax = b$ 的单一分量 $x_i$，利用诺伊曼级数和坐标逐次更新。当 $A$ 为对角占优或正定，且 $G$ 为有界度 $d$ 的稀疏图时，若 $d = O(1)$ 且 $\|G\|_2 < 1$，则算法在每一分量上实现 $\epsilon$-精度估计，时间复杂度为常数，并具备收敛性保证及对乘法次数的紧致界。

ABSTRACT

We consider approximating a single component of the solution to a system of linear equations $Ax = b$, where $A$ is an invertible real matrix and $b \in \mathbb{R}^n$. If $A$ is either diagonally dominant or positive definite, we can equivalently solve for $x_i$ in $x = Gx + z$ for some $G$ and $z$ such that spectral radius $ ho(G) < 1$. Existing algorithms either focus on computing the full vector $x$ or use Monte Carlo methods to estimate a component $x_i$ under the condition $\|G\|_{\infty} < 1$. We consider the setting where $n$ is large, yet $G$ is sparse, i.e., each row has at most $d$ nonzero entries. We present synchronous and asynchronous randomized variants of a local algorithm which relies on the Neumann series characterization of the component $x_i$, and allows us to limit the sparsity of the vectors involved in the computation, leading to improved convergence rates. Both variants of our algorithm produce an estimate $\hat{x}_i$ such that $|\hat{x}_i - x_i| \leq \epsilon \|x\|_2$, and we provide convergence guarantees when $\|G\|_2 < 1$. We prove that the synchronous local algorithm uses at most $O(\min(d \epsilon^{\ln(d)/\ln(\|G\|_2)}, dn\ln(\epsilon)/\ln(\|G\|_2)))$ multiplications. The asynchronous local algorithm adaptively samples one coordinate to update among the nonzero coordinates of the current iterate in each time step. We prove with high probability that the error contracts by a time varying factor in each step, guaranteeing that the algorithm converges to the correct solution. With probability at least $1 - \delta$, the asynchronous randomized algorithm uses at most $O(\min(d (\epsilon \sqrt{\delta/5})^{-d/(1-\|G\|_2)}, -dn \ln (\epsilon \sqrt{\delta})/(1-\|G\|_2)))$ multiplications. Thus our algorithms obtain an approximation for $x_i$ in constant time with respect to the size of the matrix when $d = O(1)$ and $1/(1-\|G\|_2) = O(1)$ as a function of $n$.

研究动机与目标

• 为解决在不求解完整向量 $x$ 的前提下，高效计算大规模稀疏线性系统 $Ax = b$ 解的单一分量 $x_i$ 的挑战。
• 设计在 $n$ 很大时仍能良好扩展的算法，通过利用矩阵 $A$ 的稀疏性，并将计算量限制在相关坐标上。
• 在 $G$ 的谱半径和 $\ell_2$-范数条件下，为同步与异步变体提供收敛性保证。
• 在 $d = O(1)$ 且 $1/(1 - \|G\|_2) = O(1)$ 时，实现每分量常数时间近似，使该方法适用于大规模问题。
• 通过聚焦于局部、坐标逐次更新并具备可证明的误差收缩性，优于现有的蒙特卡洛方法和全向量方法。

提出的方法

• 该方法利用诺伊曼级数展开 $x_i = \sum_{k=0}^\infty (G^k z)_i$ 来刻画解的第 $i$ 个分量，从而实现局部计算。
• 同步局部算法通过仅使用当前迭代中非零项的非零项，迭代计算诺伊曼级数的部分和，以限制稀疏性并减少乘法次数。
• 异步随机算法在每一步自适应地从当前迭代中采样一个非零坐标进行更新，确保随时间推移误差持续收缩。
• 该算法维护一个运行估计 $\hat{x}_i$，并仅使用 $G$ 的稀疏结构进行更新，每次更新最多涉及 $d$ 次乘法。
• 通过时变误差收缩因子证明收敛性，并给出达到 $\epsilon$-精度所需步数的高概率界。
• 基于 $\|G\|_2 < 1$、$d$、$\epsilon$ 和失败概率 $\delta$ 推导出乘法次数的理论界，表明在有利条件下具有近似常数时间复杂度。

实验结果

研究问题

• RQ1 当 $A$ 为大规模稀疏矩阵时，能否在与 $n$ 无关的时间内计算出 $Ax = b$ 解的单一分量 $x_i$？
• RQ2 如何设计一种局部算法，在避免计算完整解向量的同时保持收敛性和准确性？
• RQ3 在稀疏性和谱范数约束下，同步与异步变体的收敛速率和计算复杂度如何？
• RQ4 当 $d = O(1)$ 且 $\|G\|_2 < 1$ 时，能否在每分量上实现 $O(1)$ 时间内的 $\epsilon$-精度？
• RQ5 在稀疏线性系统中，异步坐标采样如何影响误差收缩和收敛概率？

主要发现

• 同步局部算法在 $\ell_2$-范数下实现 $\epsilon$-精度，最多使用 $O(\min(d \epsilon^{\ln(d)/\ln(\|G\|_2)}, dn\ln(\epsilon)/\ln(\|G\|_2)))$ 次乘法。
• 异步随机算法以高概率 $1 - \delta$ 实现 $\epsilon$-精度，最多使用 $O(\min(d (\epsilon \sqrt{\delta/5})^{-d/(1-\|G\|_2)}, -dn \ln(\epsilon \sqrt{\delta})/(1-\|G\|_2)))$ 次乘法。
• 在 $d = O(1)$ 且 $1/(1 - \|G\|_2) = O(1)$ 条件下，两种算法均实现每分量的常数时间近似，与 $n$ 无关。
• 异步算法在每一步以高概率通过时变因子收缩误差，确保收敛至正确解。
• 该方法首次为该场景下的异步局部算法提供了收敛性保证，明确给出了乘法次数和失败概率的界。
• 该结果在 $\|G\|_2 < 1$ 条件下成立，当 $A$ 为对角占优或正定时该条件成立。