[论文解读] On block Gaussian sketching for the Kaczmarz method

Deanna Needell, Elizaveta Rebrova|arXiv (Cornell University)|May 21, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用 5

一句话总结

本文首次对大规模线性系统求解的块高斯Kaczmarz（BGK）方法进行了理论收敛性分析，证明了在一致和不一致系统下，该方法在期望下具有指数收敛性。该方法使用随机高斯投影对块行进行降维，尽管每次迭代的计算成本较高，但在噪声环境下能有效降低方差。

ABSTRACT

The Kaczmarz algorithm is one of the most popular methods for solving large-scale over-determined linear systems due to its simplicity and computational efficiency. This method can be viewed as a special instance of a more general class of sketch and project methods. Recently, a block Gaussian version was proposed that uses a block Gaussian sketch, enjoying the regularization properties of Gaussian sketching, combined with the acceleration of the block variants. Theoretical analysis was only provided for the non-block version of the Gaussian sketch method. Here, we provide theoretical guarantees for the block Gaussian Kaczmarz method, proving a number of convergence results showing convergence to the solution exponentially fast in expectation. On the flip side, with this theory and extensive experimental support, we observe that the numerical complexity of each iteration typically makes this method inferior to other iterative projection methods. We highlight only one setting in which it may be advantageous, namely when the regularizing effect is used to reduce variance in the iterates under certain noise models and convergence for some particular matrix constructions.

研究动机与目标

• 为结合块Kaczmarz迭代与高斯投影的块高斯Kaczmarz（BGK）方法提供理论收敛保证。
• 分析投影大小对收敛速度和稳定性的影响，特别是在存在噪声的情况下。
• 从收敛速度和数值鲁棒性角度，将BGK与标准块Kaczmarz方法及无投影变体进行比较。
• 研究高斯投影在何种条件下相对于非高斯替代方案具有实际优势。
• 为不一致系统建立理论边界，并探讨使用有限投影集合以降低计算开销。

提出的方法

• BGK方法对矩阵 $ A $ 的行块执行迭代投影，其中每个块通过一个随机高斯投影矩阵进行预处理。
• 在每次迭代中，算法计算投影块 $ A_ au $ 的广义逆以更新解：$ x_{k+1} = x_k + (A_ au)^ op (A_ au A_ au^ op)^{-1} (b_ au - A_ au x_k) $。
• 投影矩阵为独立同分布的高斯矩阵，确保误差项的正则化与平滑，尤其在右端项存在噪声时效果显著。
• 理论分析基于利用奇异值性质和 $ A $ 的Frobenius范数，对误差期望下降量进行上界估计。
• 提出并分析了一组有限的高斯投影，证明其与无限随机投影在高概率下具有等价性。
• 该方法被扩展至不一致系统，推导出期望误差衰减与方差控制的收敛边界。

实验结果

研究问题

• RQ1 块高斯Kaczmarz方法在一致线性系统下是否在期望下实现指数收敛？
• RQ2 投影大小 $ s $ 如何影响收敛速率？是否存在实现快速收敛的最优 $ s $？
• RQ3 在何种场景下，高斯投影相比无投影的标准块Kaczmarz方法具有实际优势？
• RQ4 有限的高斯投影集合是否能实现与无限随机投影相同的收敛速率？
• RQ5 在不一致系统中，BGK方法的表现如何，特别是在迭代过程中误差方差的降低方面？

主要发现

• 对于一致系统，BGK方法在期望下实现指数收敛，收敛速率取决于 $ rac{ ext{tr}(A^T A)}{ ext{tr}(A^T A)} $ 和 $ rac{1}{ ext{tr}(A^T A)} $，当 $ s=1 $ 时可恢复已知结果。
• 对于一致系统，当块大小 $ s = n $ 时，方法可在单次迭代内收敛，表明在可行条件下具有计算最优性。
• 在不一致系统中，与无投影的块Kaczmarz相比，BGK显著降低了误差轨迹的方差，尤其在脉冲型噪声下表现更优。
• 尽管理论收敛性有保障，但数值实验表明，由于高斯投影的每次迭代成本较高，BGK通常被标准块Kaczmarz方法超越。
• 使用 $ O(m) $ 个高斯投影的有限集合即可在高概率下保持相同的收敛速率，从而减少对重复随机采样的依赖。
• BGK的唯一实际优势出现在噪声系统中，此时高斯投影能平滑误差尖峰，提升对无投影变体的鲁棒性。