[论文解读] Rows vs Columns for Linear Systems of Equations - Randomized Kaczmarz or Coordinate Descent?

Aaditya Ramdas|arXiv (Cornell University)|Jun 20, 2014

Stochastic Gradient Optimization Techniques参考文献 10被引用 4

一句话总结

本文在概念与算法层面建立了随机Kaczmarz（RK）与随机坐标下降（RCD）求解线性系统之间的深层联系，表明RK更自然地被理解为RCD的一种变体，而非随机梯度下降方法。本文提出了一种避免构造Gram矩阵的Kaczmarz风格算法用于核岭回归，实现了具有线性收敛保证的可扩展核方法。

ABSTRACT

This paper is about randomized iterative algorithms for solving a linear system of equations $X β= y$ in different settings. Recent interest in the topic was reignited when Strohmer and Vershynin (2009) proved the linear convergence rate of a Randomized Kaczmarz (RK) algorithm that works on the rows of $X$ (data points). Following that, Leventhal and Lewis (2010) proved the linear convergence of a Randomized Coordinate Descent (RCD) algorithm that works on the columns of $X$ (features). The aim of this paper is to simplify our understanding of these two algorithms, establish the direct relationships between them (though RK is often compared to Stochastic Gradient Descent), and examine the algorithmic commonalities or tradeoffs involved with working on rows or columns. We also discuss Kernel Ridge Regression and present a Kaczmarz-style algorithm that works on data points and having the advantage of solving the problem without ever storing or forming the Gram matrix, one of the recognized problems encountered when scaling kernelized methods.

研究动机与目标

• 澄清随机Kaczmarz（RK）与随机坐标下降（RCD）之间的概念关系，挑战将RK视为随机梯度方法的普遍观点。
• 分析RK与RCD在不同系统条件下（一致/唯一解、一致/无穷多解、不一致系统）的收敛行为。
• 为核岭回归设计一种Kaczmarz风格的算法，避免显式计算Gram矩阵，提升核方法的可扩展性。
• 统一RK与RCD的收敛性证明技术，突出其结构相似性与算法权衡。

提出的方法

• 通过将两者均解释为基于行或列范数进行更新的迭代方法，构建统一框架以比较RK与RCD。
• 采用按平方行或列范数成比例的随机选择策略，以确保收敛性。
• 利用数据矩阵或核矩阵的谱性质，推导RK与RCD在岭回归与核岭回归背景下的收敛速率。
• 提出一种新颖的Kaczmarz风格算法用于核岭回归，通过核函数评估维护对偶变量α，而无需构造完整的Gram矩阵。
• 采用对偶形式，通过核函数评估在特征空间中执行更新，避免显式矩阵求逆。
• 在岭回归与核岭回归设定下，建立RK与RCD的线性收敛速率，明确依赖于正则化核矩阵或协方差矩阵的最小特征值与迹。

实验结果

研究问题

• RQ1 在求解一致与不一致线性系统时，随机Kaczmarz与随机坐标下降的收敛行为如何比较？
• RQ2 为何随机Kaczmarz更自然地被理解为坐标下降的一种变体，而非随机梯度下降？
• RQ3 能否设计一种Kaczmarz风格的算法用于核岭回归，避免构造Gram矩阵，同时保持线性收敛性？
• RQ4 在不同系统条件下，RK与RCD在收敛速率与解的性质（如最小范数解 vs. 最小二乘解）方面有何关键差异？
• RQ5 如何利用基于行与基于列的更新之间的对偶性，推导出更简洁、更具可解释性的收敛性证明？

主要发现

• 当系统一致且有唯一解时，RK与RCD以近似相同的线性速率收敛，且收敛证明几乎相同。
• 在一致但有无穷多解的系统中，RK收敛到最小范数解，而RCD不收敛到该解，因此在此类设定下RK更优。
• 对于不一致系统，RCD收敛到最小二乘解，而RK不收敛到该解，因此当目标是最小化残差误差时，RCD更优。
• RK在核岭回归中的收敛速率受(1 - σ_min(K + λI_n) / Tr(K + λI_n))^t限制，其依赖于正则化核矩阵的最小特征值与迹。
• 所提出的Kaczmarz风格算法完全避免了Gram矩阵的构造，降低了计算与存储成本，并实现了每轮迭代O(n)复杂度的线性收敛。
• RCD在岭回归中的收敛速率为(1 - σ_min(Σ + λI_p) / Tr(Σ + λI_p))^t，其特征值依赖性与RK存在细微差异，尤其在n > p或p > n时更为显著。