[论文解读] Randomized Block Krylov Methods for Stronger and Faster Approximate Singular Value Decomposition

Cameron Musco, Christopher Musco|arXiv (Cornell University)|Apr 21, 2015

Stochastic Gradient Optimization Techniques参考文献 35被引用 93

一句话总结

本文提出了一种随机化块Krylov方法，实现了近乎最优的低秩逼近与主成分分析（PCA），其收敛速度显著快于现有方法。该方法将Simultaneous Iteration所需的迭代次数从Õ(1/ε)减少至Õ(1/√ε)，同时保持(1+ε)的谱范数误差，并首次为Krylov子空间方法在此类问题中提供了不依赖奇异值间隔的理论保证。

ABSTRACT

Since being analyzed by Rokhlin, Szlam, and Tygert and popularized by Halko, Martinsson, and Tropp, randomized Simultaneous Power Iteration has become the method of choice for approximate singular value decomposition. It is more accurate than simpler sketching algorithms, yet still converges quickly for any matrix, independently of singular value gaps. After $ ilde{O}(1/ε)$ iterations, it gives a low-rank approximation within $(1+ε)$ of optimal for spectral norm error. We give the first provable runtime improvement on Simultaneous Iteration: a simple randomized block Krylov method, closely related to the classic Block Lanczos algorithm, gives the same guarantees in just $ ilde{O}(1/\sqrtε)$ iterations and performs substantially better experimentally. Despite their long history, our analysis is the first of a Krylov subspace method that does not depend on singular value gaps, which are unreliable in practice. Furthermore, while it is a simple accuracy benchmark, even $(1+ε)$ error for spectral norm low-rank approximation does not imply that an algorithm returns high quality principal components, a major issue for data applications. We address this problem for the first time by showing that both Block Krylov Iteration and a minor modification of Simultaneous Iteration give nearly optimal PCA for any matrix. This result further justifies their strength over non-iterative sketching methods. Finally, we give insight beyond the worst case, justifying why both algorithms can run much faster in practice than predicted. We clarify how simple techniques can take advantage of common matrix properties to significantly improve runtime.

研究动机与目标

• 解决传统随机SVD方法（如Simultaneous Iteration）收敛缓慢的问题，其为达到(1+ε)的谱范数误差需Õ(1/ε)次迭代。
• 提出一种基于Krylov的方法，仅需Õ(1/√ε)次迭代即可达到相同精度，显著提升运行效率。
• 首次对Krylov子空间方法在低秩逼近中的理论分析提供不依赖奇异值间隔的保证。
• 证明所提出的块Krylov方法与改进的Simultaneous Iteration均可返回高质量的主成分，而不仅限于低秩逼近。
• 通过分析常见矩阵特性（如奇异值快速衰减）如何在最坏情况界之外加速收敛，解释实验中观察到的实际加速现象。

提出的方法

• 提出一种随机化块Krylov迭代，通过使用k×k大小的随机初始矩阵进行重复矩阵-向量乘积来构建Krylov子空间。
• 利用所得块Krylov矩阵K的前k个左奇异向量，形成矩阵A的低秩逼近。
• 在每次迭代中应用重新正交化，以保持数值稳定性并防止正交性损失。
• 使用一种新颖的不依赖奇异值间隔的误差界进行分析，其依赖于σk/σp+1而非奇异值间隔。
• 借助随机矩阵理论与子空间投影论证，证明该方法可在Õ(1/√ε)次迭代内实现(1+ε)的谱范数误差。
• 通过引入块结构对Simultaneous Iteration进行改进，证明其同样可实现近乎最优的PCA，优于非迭代的采样方法。

实验结果

研究问题

• RQ1 Krylov子空间方法能否在不依赖奇异值间隔的前提下，实现比Simultaneous Iteration更快的低秩SVD收敛速度？
• RQ2 当Frobenius范数误差较差时，块Krylov方法是否仍能提供优于非迭代采样方法的主成分估计？
• RQ3 为何块Krylov与Simultaneous Iteration在实际中收敛速度远快于最坏情况理论界所预测？
• RQ4 能否通过基于Krylov的方法实现(1+ε)的谱范数误差，且仅需Õ(1/√ε)次迭代，而非Õ(1/ε)次？
• RQ5 现实世界矩阵的哪些结构性质可解释实际加速现象，超出最坏情况分析的预测？

主要发现

• 块Krylov方法在Õ(1/√ε)次迭代内实现(1+ε)的谱范数误差，相较于Simultaneous Iteration所需的Õ(1/ε)次迭代具有可证明的改进。
• 该方法首次为Krylov子空间方法在低秩SVD中提供了不依赖奇异值间隔的理论分析，仅依赖于比值σk/σp+1而非奇异值间隔。
• 块Krylov方法与改进的Simultaneous Iteration均可返回近乎最优的主成分，解决了以往采样方法的关键局限。
• 在SNAP/amazon0302、email-Enron和20 Newsgroups数据集上的实验表明，块Krylov在谱范数误差与逐向量误差上比Simultaneous Iteration快2–4倍。
• 对于20 Newsgroups数据集（11,269×15,088），由于每次迭代的开销更低，块Krylov在小ε值下表现出更优的运行时间成本。
• 理论分析解释了实际加速现象：当σk/σp+1较大时，收敛依赖关系从1/ε转变为log(1/ε)，这在奇异值快速衰减的数据集中被观察到。