[论文解读] Rows vs. Columns: Randomized Kaczmarz or Gauss-Seidel for Ridge Regression

Ahmed Hefny, Deanna Needell+1 more|arXiv (Cornell University)|Jul 21, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用 6

一句话总结

本文提出并分析了随机Kaczmarz（RK）和随机Gauss-Seidel（RGS）方法在岭回归中的变体，证明当 m > n（过定情形）时RGS最优，当 n > m（欠定情形）时RK最优。研究证明，结合行与列更新——此前被提出为增强方法——由于存在无效迭代而严格次优。

ABSTRACT

The Kaczmarz and Gauss-Seidel methods aim to solve a linear $m imes n$ system $\boldsymbol{X} \boldsymbolβ = \boldsymbol{y}$ by iteratively refining the solution estimate; the former uses random rows of $\boldsymbol{X}$ {to update $\boldsymbolβ$ given the corresponding equations} and the latter uses random columns of $\boldsymbol{X}$ {to update corresponding coordinates in $\boldsymbolβ$}. Interest in these methods was recently revitalized by a proof of Strohmer and Vershynin showing linear convergence in expectation for a extit{randomized} Kaczmarz method variant (RK), and a similar result for the randomized Gauss-Seidel algorithm (RGS) was later proved by Lewis and Leventhal. Recent work unified the analysis of these algorithms for the overcomplete and undercomplete systems, showing convergence to the ordinary least squares (OLS) solution and the minimum Euclidean norm solution respectively. This paper considers the natural follow-up to the OLS problem, ridge regression, which solves $(\boldsymbol{X}^* \boldsymbol{X} + λ\boldsymbol{I}) \boldsymbolβ = \boldsymbol{X}^* \boldsymbol{y}$. We present particular variants of RK and RGS for solving this system and derive their convergence rates. We compare these to a recent proposal by Ivanov and Zhdanov to solve this system, that can be interpreted as randomly sampling both rows and columns, which we argue is often suboptimal. Instead, we claim that one should always use RGS (columns) when $m > n$ and RK (rows) when $m < n$. This difference in behavior is simply related to the minimum eigenvalue of two related positive semidefinite matrices, $\boldsymbol{X}^* \boldsymbol{X} + λ\boldsymbol{I}_n$ and $\boldsymbol{X} \boldsymbol{X}^* + λ\boldsymbol{I}_m$ when $m > n$ or $m < n$.

研究动机与目标

• 将随机Kaczmarz（RK）和随机Gauss-Seidel（RGS）方法的分析从普通最小二乘法扩展到岭回归。
• 根据系统过约束或欠约束的性质，确定岭回归中基于行（RK）与基于列（RGS）更新的最优选择。
• 证明近期提出的结合行-列更新方法（Ivanov-Zhdanov）由于存在无效迭代而严格次优。
• 对RK和RGS在岭回归中的变体提供收敛速率分析，突出条件数的影响。
• 基于理论与实证验证，确立当 m > n 时应使用RGS，当 n > m 时应使用RK。

提出的方法

• 将岭回归表述为线性系统，并通过将其视为对偶或原始系统上的随机坐标下降法，推导出RK和RGS的变体。
• 采用对偶公式，将岭回归表示为求解涉及矩阵 (X^*X + λI) 的系统，从而可将RK和RGS应用于对偶变量。
• 在期望下分析收敛速率，推导出依赖于 X^*X + λI 的条件数和最小奇异值 σ_min 的边界。
• 提出一种新算法框架，根据维度选择更新策略：当 m > n 时使用RGS，当 n > m 时使用RK。
• 将所提方法与Ivanov-Zhdanov增强投影方法进行比较，后者结合了RK与RGS更新，但因存在无效迭代而性能受限。
• 通过数值实验验证理论收敛速率，并证明基于维度感知选择（m > n 时使用RGS，n > m 时使用RK）的优越性。

实验结果

研究问题

• RQ1 在过定（m > n）和欠定（n > m）情形下，随机Kaczmarz（RK）与随机Gauss-Seidel（RGS）中哪一方法在岭回归中收敛更快？
• RQ2 RK与RGS在岭回归中的收敛速率如何依赖于设计矩阵的条件数与奇异值？
• RQ3 为何近期提出的Ivanov-Zhdanov增强投影方法（结合行与列更新）在实践中严格次优？
• RQ4 能否建立一个统一框架，根据系统的维度性选择最优更新策略（行或列）？
• RQ5 初始化对RK与RGS在岭回归中收敛行为的影响是什么？

主要发现

• 当 m > n（过定情形）时，随机Gauss-Seidel（RGS）方法收敛更快且为最优，而随机Kaczmarz（RK）性能较差。
• 当 n > m（欠定情形）时，随机Kaczmarz（RK）方法为最优，且收敛快于RGS，后者因存在无穷多解而恢复效果差。
• Ivanov-Zhdanov增强投影方法（结合行与列更新）严格次优，因为许多迭代不产生进展，从而减缓收敛。
• 所提方法通过在 m > n 时选择RGS、在 n > m 时选择RK，实现了期望下的线性收敛，且其条件数依赖性与理论边界一致。
• 数值实验确认：在 m > n 情形下RGS优于RK，在 n > m 情形下RK优于RGS，验证了理论预测。
• 所提方法的收敛速率依赖于 σ_min 与 X^*X + λI 的条件数，当 σ_min 较大且条件数较小时收敛更快。