[论文解读] Solving for a Single Component of the Solution to a Linear System, Asynchronously

Christina Lee, Asuman Ozdaglar+1 more|arXiv (Cornell University)|Nov 10, 2014

Stochastic Gradient Optimization Techniques参考文献 8被引用 2

一句话总结

该论文提出了一种异步、分布式算法，通过利用Neumann级数和残差更新，近似求解大规模稀疏线性系统 $Ax = b$ 的单一分量。当矩阵具有有界行稀疏度和谱范数时，该算法在常数时间内实现 $\epsilon\|x\|_2$-精度的 $x_i$ 近似，优于全局求解方法。

ABSTRACT

We present a distributed asynchronous algorithm for approximating a single component of the solution to a system of linear equations $Ax = b$, where $A$ is a positive definite real matrix, and $b \in \mathbb{R}^n$. This is equivalent to solving for $x_i$ in $x = Gx + z$ for some $G$ and $z$ such that the spectral radius of $G$ is less than 1. Our algorithm relies on the Neumann series characterization of the component $x_i$, and is based on residual updates. We analyze our algorithm within the context of a cloud computation model, in which the computation is split into small update tasks performed by small processors with shared access to a distributed file system. We prove a robust asymptotic convergence result when the spectral radius $ ho(|G|) < 1$, regardless of the precise order and frequency in which the update tasks are performed. We provide convergence rate bounds which depend on the order of update tasks performed, analyzing both deterministic update rules via counting weighted random walks, as well as probabilistic update rules via concentration bounds. The probabilistic analysis requires analyzing the product of random matrices which are drawn from distributions that are time and path dependent. We specifically consider the setting where $n$ is large, yet $G$ is sparse, e.g., each row has at most $d$ nonzero entries. This is motivated by applications in which $G$ is derived from the edge structure of an underlying graph. Our results prove that if the local neighborhood of the graph does not grow too quickly as a function of $n$, our algorithm can provide significant reduction in computation cost as opposed to any algorithm which computes the global solution vector $x$. Our algorithm obtains an $\epsilon \|x\|_2$ additive approximation for $x_i$ in constant time with respect to the size of the matrix when the maximum row sparsity $d = O(1)$ and $1/(1-\|G\|_2) = O(1)$.

研究动机与目标

• 开发一种可扩展的、分布式的计算方法，用于在不求解完整向量的情况下，计算大规模稀疏线性系统解的单一分量。
• 解决传统方法在仅需 $x_i$ 时仍计算整个解向量 $x$ 所导致的计算低效问题。
• 设计一种对云环境中任意更新顺序和任务调度具有鲁棒性的算法。
• 在矩阵具有有界行稀疏度且谱半径小于1的条件下，实现大规模系统的常数时间收敛。

提出的方法

• 该算法使用Neumann级数展开，将所需的分量 $x_i$ 表示为涉及矩阵 $G$ 幂次的无穷级数，其中 $x = Gx + z$。
• 它在小型分布式任务上执行异步残差更新，每个任务负责更新解估计的局部部分。
• 该方法基于具有共享存储的云计算模型，允许独立处理器异步访问和更新共享数据。
• 收敛性通过确定性更新规则的加权随机游走进行分析，以及通过概率更新规则的浓度不等式进行分析。
• 该算法通过仅更新每行的非零条目来利用稀疏性，当 $d = O(1)$ 时，降低每次更新的开销。
• 理论分析考虑了概率更新设置下的时间依赖和路径依赖的随机矩阵乘积。

实验结果

研究问题

• RQ1 是否存在一种分布式的异步算法，能够比计算完整解向量更快地近似线性系统解的单一分量？
• RQ2 在异步、共享内存的云环境中，收敛行为如何依赖于更新顺序和频率？
• RQ3 矩阵 $G$ 需满足何种条件，才能确保单一分量近似的常数时间收敛？
• RQ4 矩阵 $G$ 的稀疏性如何影响算法的计算成本和收敛速率？
• RQ5 具有路径依赖分布的概率更新规则是否仍能保证收敛，并提供可量化的边界？

主要发现

• 当最大行稀疏度 $d = O(1)$ 且 $1/(1 - \|G\|_2) = O(1)$ 时，该算法在 $n$ 的常数时间内实现 $x_i$ 的 $\epsilon\|x\|_2$-精度近似。
• 当 $\rho(|G|) < 1$ 时，对任意更新顺序，收敛性可保证渐近成立，确保在异步环境中的鲁棒性。
• 收敛速率依赖于更新规则：确定性规则通过计数加权随机游走分析，而概率规则则利用时间与路径依赖的随机矩阵乘积的浓度不等式。
• 对于 $d = O(1)$ 的稀疏矩阵 $G$，与完整解计算相比，该算法显著降低了计算开销。
• 即使在任意且异步的任务调度下，该方法仍具有可证明的收敛性，适用于大规模云部署。
• 理论框架支持确定性和概率更新策略，在较弱的谱条件下提供形式化的收敛保证。