[论文解读] Structural Convergence Results for Low-Rank Approximations from Block Krylov Spaces.

Petros Drineas, Ilse C. F. Ipsen+2 more|arXiv (Cornell University)|Sep 2, 2016

Matrix Theory and Algorithms参考文献 32被引用 6

一句话总结

本文建立了使用块Krylov空间 𝒦_q(AA^T, AX) 对矩阵 A 进行低秩逼近的收敛性界，通过主角分析块Krylov空间与主导左奇异子空间之间的距离。该研究提供了相对于最优低秩逼近的质量保证，误差界取决于初始块 X 与 A 的右奇异子空间之间主角的正切值。

ABSTRACT

This paper is concerned with approximating the dominant left singular vector space of a real matrix $A$ of arbitrary dimension, from block Krylov spaces $\mathcal{K}_q(AA^T,AX)$. Two classes of results are presented. First are bounds on the distance, in the two and Frobenius norms, between the Krylov space and the target space. The distance is expressed in terms of principal angles. Second are quality of approximation bounds, relative to the best low-rank approximation in the Frobenius norm. For starting guesses $X$ of full column-rank, the bounds depend on the tangent of the principal angles between $X$ and the dominant right singular vector space of $A$. The results presented here form the structural foundation for the analysis of randomized Krylov space methods. The innovative feature is a combination of traditional Lanczos convergence analysis with optimal low-rank approximations via least squares problems.

研究动机与目标

• 分析块Krylov空间在捕捉矩阵 A 的主导左奇异子空间方面的逼近质量。
• 利用两范数和Frobenius范数，推导生成的Krylov空间与目标奇异子空间之间距离的界。
• 在Frobenius范数下，量化逼近误差相对于最优可能低秩逼近的大小。
• 通过基于角度的误差分析，为随机化Krylov空间方法建立结构基础。
• 将传统的Lanczos收敛性理论与基于最小二乘法的最优低秩逼近相结合。

提出的方法

• 使用块Krylov空间 𝒦_q(AA^T, AX) 生成矩阵 A 的主导左奇异向量的逼近子空间。
• 利用主角度量Krylov空间与目标奇异子空间之间的几何距离。
• 基于子空间之间的主角，推导两范数和Frobenius范数下的误差界。
• 以初始块 X 与 A 的右奇异子空间之间主角的正切值来表达逼近质量。
• 应用最小二乘优化，将基于Krylov的逼近与最优低秩逼近相连接。
• 结合Lanczos风格的收敛性分析与低秩逼近理论，推导出紧致的误差界。

实验结果

研究问题

• RQ1 块Krylov空间 𝒦_q(AA^T, AX) 对矩阵 A 的主导左奇异子空间的逼近效果如何？
• RQ2 逼近误差与初始块 X 和 A 的右奇异子空间之间主角的关系是什么？
• RQ3 基于Krylov的逼近质量在Frobenius范数下与最优可能的低秩逼近相比如何？
• RQ4 能否使用主角和基于角度的误差度量来分析块Krylov方法的收敛性？
• RQ5 在此框架下，可以为随机化Krylov空间方法推导出哪些结构化保证？

主要发现

• 使用主角，块Krylov空间与主导左奇异子空间之间的距离在两范数和Frobenius范数下均有界。
• 相对于最优低秩逼近的逼近误差取决于初始块 X 与 A 的右奇异子空间之间主角的正切值。
• 对于列满秩的初始块 X，误差界明确地与 X 和主导右奇异子空间之间的几何对齐有关。
• 该方法提供了一个结构化框架，支持对随机化Krylov空间算法的分析。
• Lanczos收敛性分析与基于最小二乘法的低秩逼近相结合，得出了紧致且可解释的误差界。
• 研究结果为高效随机化矩阵逼近方法的设计与分析奠定了理论基础。