[论文解读] Pseudoinverse-free randomized extended block Kaczmarz for solving least squares.

Kui Du, Wutao Si+1 more|arXiv (Cornell University)|Jan 13, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文提出了一种无需伪逆的随机化扩展块Kaczmarz算法，用于求解最小二乘问题，实现了向最小ℓ₂-范数解的均方指数收敛。该方法通过迭代地将系统矩阵的块行投影到解空间中，避免了矩阵求逆，从而可在所有类型的系统——一致或不一致、超定或欠定、满秩或秩亏——上实现高效的分布式计算。

ABSTRACT

Randomized iterative algorithms have recently been proposed to solve large-scale linear systems. In this paper, we present a simple randomized extended block Kaczmarz algorithm that exponentially converges in the mean square to the unique minimum $\ell_2$-norm least squares solution of a given linear system of equations. The proposed algorithm is pseudoinverse-free and therefore different from the projection-based randomized double block Kaczmarz algorithm of Needell, Zhao, and Zouzias. We emphasize that our method works for all types of linear systems (consistent or inconsistent, overdetermined or underdetermined, full-rank or rank-deficient). Moreover, our approach can utilize efficient implementations on distributed computing units, yielding remarkable improvements in computational time. Numerical examples are given to show the efficiency of the new algorithm.

研究动机与目标

• 开发一种无需依赖矩阵伪逆的随机化迭代方法，用于求解大规模最小二乘问题。
• 确保在所有线性系统配置下，向最小ℓ₂-范数解实现均方指数收敛。
• 在分布式计算架构上实现高效部署，以提升计算性能。
• 提供一个统一的框架，适用于一致、不一致、超定、欠定、满秩和秩亏系统。

提出的方法

• 该算法从系统矩阵中采样块行，以迭代方式改进解的估计。
• 采用一种随机化Kaczmarz型更新，避免显式计算Moore-Penrose伪逆。
• 更新规则源自扩展Kaczmarz框架，将解投影到所选块定义的超平面上。
• 通过利用块结构和选择中的随机化，保持数值稳定性和收敛性。
• 该算法设计为可轻松并行化并分布于多个计算单元。
• 收敛性在期望下进行分析，表明其向最小ℓ₂-范数解实现均方指数收敛。

实验结果

研究问题

• RQ1 无伪逆计算的随机化块Kaczmarz方法能否实现指数收敛？
• RQ2 该算法在包括不一致和秩亏系统在内的各类线性系统中的表现如何？
• RQ3 该算法在分布式计算平台上能实现多大程度的高效扩展？
• RQ4 该方法在均方误差衰减方面的理论收敛行为如何？
• RQ5 与现有的基于投影的双块Kaczmarz方法相比，该方法在效率和鲁棒性方面表现如何？

主要发现

• 该算法实现了向最小ℓ₂-范数最小二乘解的均方指数收敛。
• 其适用于所有类型的线性系统，包括不一致、超定、欠定、满秩和秩亏系统。
• 该方法无需伪逆，避免了代价高昂且数值不稳定的矩阵求逆操作。
• 通过高效的分布式计算实现，该算法可实现显著的速度提升。
• 数值实验验证了该算法在各种测试用例中的高效性和鲁棒性。