[论文解读] Stronger and Faster Approximate Singular Value Decomposition via the Block Lanczos Method

Cameron Musco, Christopher Musco|arXiv (Cornell University)|Apr 21, 2015

Stochastic Gradient Optimization Techniques参考文献 29被引用 4

一句话总结

本文提出了一种随机化块Krylov方法，其在谱范数误差上达到与同时幂迭代（Simultaneous Power Iteration）相同的(1+ε)保证，但仅需Õ(1/√ε)轮迭代，实现了可证明的运行时间改进。该方法进一步实现了近乎最优的主成分分析（PCA）性能，并通过利用矩阵结构解释了实际中的加速效果。

ABSTRACT

Since being analyzed by Rokhlin, Szlam, and Tygert and popularized by Halko, Martinsson, and Tropp, randomized Simultaneous Power Iteration has become the method of choice for approximate singular value decomposition. It is more accurate than simpler sketching algorithms, yet still converges quickly for any matrix, independently of singular value gaps. After $ ilde{O}(1/\epsilon)$ iterations, it gives a low-rank approximation within $(1+\epsilon)$ of optimal for spectral norm error. We give the first provable runtime improvement on Simultaneous Iteration: a simple randomized block Krylov method, closely related to the classic Block Lanczos algorithm, gives the same guarantees in just $ ilde{O}(1/\sqrt{\epsilon})$ iterations and performs substantially better experimentally. Despite their long history, our analysis is the first of a Krylov subspace method that does not depend on singular value gaps, which are unreliable in practice. Furthermore, while it is a simple accuracy benchmark, even $(1+\epsilon)$ error for spectral norm low-rank approximation does not imply that an algorithm returns high quality principal components, a major issue for data applications. We address this problem for the first time by showing that both Block Krylov Iteration and a minor modification of Simultaneous Iteration give nearly optimal PCA for any matrix. This result further justifies their strength over non-iterative sketching methods. Finally, we give insight beyond the worst case, justifying why both algorithms can run much faster in practice than predicted. We clarify how simple techniques can take advantage of common matrix properties to significantly improve runtime.

研究动机与目标

• 为解决现有随机化SVD方法（如同时幂迭代）收敛缓慢的问题，这些方法为实现谱范数下(1+ε)的误差，通常需要Õ(1/ε)轮迭代。
• 开发一种基于Krylov子空间的方法，避免对奇异值间隙的依赖，因为奇异值间隙在真实数据中往往不可靠。
• 证明所提出的块Krylov方法对任意矩阵均能实现近乎最优的PCA质量，不仅限于谱范数，也包括实际成分恢复的性能。
• 通过分析常见矩阵特性，解释Krylov方法在实践中比最坏情况理论界限快得多的原因。

提出的方法

• 该方法采用随机化块Krylov子空间迭代，与经典块Lanczos算法密切相关，用于生成低秩逼近。
• 通过随机初始向量构建Krylov子空间，并利用矩阵-向量乘积迭代扩展该子空间，以捕获主导的奇异子空间。
• 该算法采用随机采样策略，以在不依赖奇异值间隙的情况下保持数值稳定性和收敛性。
• 对Krylov矩阵应用QR分解或SVD，以提取近似奇异向量和奇异值。
• 利用随机数值线性代数中的工具对该方法进行分析，证明其在Õ(1/√ε)轮迭代内可实现(1+ε)的谱范数误差。
• 还对同时迭代方法进行了一项小修改并进行了分析，表明其同样可实现近乎最优的PCA，凸显了迭代方法的鲁棒性。

实验结果

研究问题

• RQ1 Krylov子空间方法能否以显著更少的迭代次数，实现与同时幂迭代相同的(1+ε)谱范数误差？
• RQ2 块Krylov方法是否能独立于奇异值间隙实现收敛，而奇异值间隙在实际中常为病态？
• RQ3 此类方法能否实现近乎最优的主成分恢复，而不仅限于谱范数的准确性？
• RQ4 为何Krylov方法在实践中通常远快于最坏情况理论界限所预测的速度？

主要发现

• 该块Krylov方法在Õ(1/√ε)轮迭代内即可实现(1+ε)的谱范数误差，相比同时幂迭代所需的Õ(1/ε)轮迭代，实现了可证明的改进。
• 该方法的收敛性独立于奇异值间隙，使其在奇异值间隙通常较小或不存在的真实数据中更具可靠性。
• 块Krylov方法与修改后的同时迭代方法均能对任意矩阵实现近乎最优的PCA，解决了先前采样方法的关键局限。
• 理论分析通过表明常见矩阵结构（如奇异值聚类或奇异向量的衰减）可被利用以加速收敛，从而解释了实际中的加速效果。