[论文解读] On the Relation Between the Randomized Extended Kaczmarz Algorithm and Coordinate Descent

Bogdan Dumitrescu|arXiv (Cornell University)|May 27, 2014

Stochastic Gradient Optimization Techniques参考文献 6被引用 4

一句话总结

本文证明了在求解满秩超定线性最小二乘问题时，随机坐标下降（CD）算法优于随机扩展Kaczmarz（EK）算法。通过证明EK等价于交替执行CD和Kaczmarz步骤，作者证明CD收敛所需迭代次数更少且运算次数更低，因此推荐在超定问题中使用CD，而在秩亏问题中使用CD后接Kaczmarz。

ABSTRACT

In this note we compare the randomized extended Kaczmarz (EK) algorithm and randomized coordinate descent (CD) for solving the full-rank overdetermined linear least-squares problem and prove that CD needs less operations for satisfying the same residual-related termination criteria. For the general least-squares problems, we show that running first CD to compute the residual and then standard Kaczmarz on the resulting consistent system is more efficient than EK.

研究动机与目标

• 分析随机扩展Kaczmarz（EK）与坐标下降（CD）在线性最小二乘问题中的计算关系。
• 确定EK在收敛速度或计算成本方面是否优于CD。
• 提出结合CD和Kaczmarz的改进算法策略，以提升一般最小二乘问题的性能。
• 为在实际应用中用CD或CD+K替代EK提供理论和实证依据。

提出的方法

• 本文通过将EK分解为其组成部分（即CD的残差近似和对所得相容系统的Kaczmarz迭代），比较EK与CD。
• 使用Frobenius范数定义两种算法中随机列（CD）和行（Kaczmarz）采样的选择概率。
• 在CD中，通过将残差投影到A的列空间来更新残差；而EK采用结合CD和Kaczmarz步骤的对偶残差更新机制。
• 理论分析表明，CD可独立收敛到最小二乘解，而EK则依赖CD在应用Kaczmarz前构建良好的残差近似。
• 数值实验比较了密集和稀疏矩阵在不同维度和秩下，CD、EK、CD+K和CD+EK+K的归一化RMSE。
• 本文提出一种混合策略：先运行CD近似残差，再对相容系统应用标准Kaczmarz，结果表明该策略比EK更高效。

实验结果

研究问题

• RQ1 在满秩超定最小二乘问题中，随机扩展Kaczmarz算法在迭代次数和运算次数上是否比坐标下降收敛更快？
• RQ2 EK中的残差近似能否被坐标下降替代而不损失收敛质量或效率？
• RQ3 在一般最小二乘问题中，使用坐标下降后接标准Kaczmarz是否相比EK具有计算优势？
• RQ4 在残差误差减少方面，EK与CD及混合方法CD+K在迭代过程中的性能如何比较？
• RQ5 尽管EK同时使用列和行投影，为何其仍无法优于CD？

主要发现

• 对于满秩超定最小二乘问题，坐标下降收敛所需的迭代次数少于随机扩展Kaczmarz算法。
• CD每轮迭代的运算量少于EK，因为CD仅使用矩阵列，而EK同时使用列和行。
• 在满秩超定问题中，CD始终优于EK，因其收敛更快且计算成本更低。
• 在秩亏或秩未知的问题中，CD后接标准Kaczmarz（CD+K）比EK更高效，且性能几乎与CD+EK+K相当。
• 数值结果表明，CD的收敛速度始终快于EK，且CD+K与CD+EK+K在早期迭代中性能与CD单独运行几乎一致。
• CD相对于EK的优势在早期迭代中最为显著，此时EK的残差近似质量较差，从而降低了Kaczmarz步骤的质量。