[论文解读] Randomized extended block Kaczmarz for solving least squares

Kui Du, Wutao Si+1 more|arXiv (Cornell University)|Jan 13, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用 5

一句话总结

本文提出了一种随机化扩展块Kaczmarz（REBK）算法，用于求解各类线性系统，包括相容/不相容、超定/欠定以及满秩/秩亏情形。该算法在无需计算广义逆的情况下，实现了向最小ℓ₂-范数最小二乘解的指数级均方收敛，通过每轮迭代采用两次随机化块Kaczmarz更新，支持高效的分布式实现，并显著提升了计算速度。

ABSTRACT

Randomized iterative algorithms have recently been proposed to solve large-scale linear systems. In this paper, we present a simple randomized extended block Kaczmarz algorithm that exponentially converges in the mean square to the unique minimum $\ell_2$-norm least squares solution of a given linear system of equations. The proposed algorithm is pseudoinverse-free and therefore different from the projection-based randomized double block Kaczmarz algorithm of Needell, Zhao, and Zouzias. We emphasize that our method works for all types of linear systems (consistent or inconsistent, overdetermined or underdetermined, full-rank or rank-deficient). Moreover, our approach can utilize efficient implementations on distributed computing units, yielding remarkable improvements in computational time. Numerical examples are given to show the efficiency of the new algorithm.

研究动机与目标

• 开发一种快速、可扩展的迭代方法，用于求解包括不相容和秩亏情形在内的各类线性系统。
• 在不计算Moore-Penrose广义逆的情况下，实现向最小ℓ₂-范数最小二乘解的指数级均方收敛。
• 通过利用块结构和随机行/列采样，实现高效的并行与分布式计算。
• 提供一个统一的框架，适用于所有类型的线性系统（相容/不相容、满秩/秩亏、超定/欠定）。
• 通过在合成数据和真实世界稀疏矩阵上的数值实验，展示显著的计算加速效果。

提出的方法

• 该算法在每轮迭代中执行两次随机化块Kaczmarz（RABK）更新：一次在转置系统上，一次在原始系统上。
• 采用加权RABK更新，并应用特定的步长规则，以确保收敛至最小ℓ₂-范数最小二乘解。
• 通过两阶段更新避免广义逆计算：首先更新残差向量，然后更新解迭代值。
• 在每轮迭代中随机选择行和列的块，无需完整划分，从而实现采样灵活性。
• 该算法设计为可在分布式计算单元上高效并行化，块大小和步长为关键调优参数。
• 收敛性分析证明，对所有一般线性系统，该方法均实现向A†b的指数级均方收敛。

实验结果

研究问题

• RQ1 能否设计一种随机化块Kaczmarz方法，在不计算广义逆的情况下，实现向最小ℓ₂-范数最小二乘解的指数级收敛？
• RQ2 如何将扩展Kaczmarz框架推广以处理所有类型的线性系统，包括不相容和秩亏情形？
• RQ3 在分布式和大规模环境中，块大小和步长对收敛速度有何影响？
• RQ4 该算法能否在保持指数收敛的同时，高效地在分布式计算单元上并行化？
• RQ5 所提出的REBK算法在真实世界稀疏矩阵上的性能与现有方法（如REK和RDBK）相比如何？

主要发现

• REBK算法对所有一般线性系统（包括不相容和秩亏情形）均实现了向最小ℓ₂-范数最小二乘解A†b的指数级均方收敛。
• 在合成的Type I和Type II矩阵上，当块大小τ=10且α=1.75/β_max时，REBK在abtaha1上将CPU时间减少最多达3.53倍，在WorldCities上减少最多达2.14倍，优于REK和RDBK。
• 对于佛罗里达大学稀疏矩阵库中的真实世界矩阵，使用最优块大小和经验步长的REBK相比REK，迭代次数最多减少69%，CPU时间最多减少3.53倍。
• 加速效果高度依赖于问题特定的块大小和步长选择，最优参数在不同矩阵间有所差异。
• 该算法在大规模系统（最多20,000行、5,000列）上表现出显著的计算优势，在分布式环境中展现出强大的可扩展性。
• 数值结果证实，REBK在所有测试案例中均为最快，尤其在大型稀疏系统上表现突出。