[论文解读] The PowerURV algorithm for computing rank-revealing full factorizations

Abinand Gopal, Per‐Gunnar Martinsson|arXiv (Cornell University)|Dec 14, 2018

Stochastic Gradient Optimization Techniques参考文献 10被引用 4

一句话总结

PowerURV算法是一种随机化、计算高效的算法，用于计算大规模矩阵的秩揭示性满分解，其核心是利用随机子空间迭代和level-3 BLAS操作。该算法在数值秩与矩阵维度相差不大的情形下，以远低于全SVD的计算成本，实现了接近最优的低秩逼近，性能与SVD相当。

ABSTRACT

Many applications in scientific computing and data science require the computation of a rank-revealing factorization of a large matrix. In many of these instances the classical algorithms for computing the singular value decomposition are prohibitively computationally expensive. The randomized singular value decomposition can often be helpful, but is not effective unless the numerical rank of the matrix is substantially smaller than the dimensions of the matrix. We introduce a new randomized algorithm for producing rank-revealing factorizations based on existing work by Demmel, Dumitriu and Holtz [Numerische Mathematik, 108(1), 2007] that excels in this regime. The method is exceptionally easy to implement, and results in close-to optimal low-rank approximations to a given matrix. The vast majority of floating point operations are executed in level-3 BLAS, which leads to high computational speeds. The performance of the method is illustrated via several numerical experiments that directly compare it to alternative techniques such as the column pivoted QR factorization, or the QLP method by Stewart.

研究动机与目标

• 解决全SVD在处理具有中等数值秩的大矩阵时的计算低效问题。
• 克服在目标秩与矩阵维度相差不大的情形下，随机化SVD（RSVD）和列主元QR（CPQR）方法的局限性。
• 开发一种结合SVD精度与随机化算法速度，以及CPQR优势的方法。
• 提供一种秩揭示性分解，通过一次高效分解实现高质量的低秩逼近。
• 通过依赖level-3 BLAS操作，确保与现代高性能计算架构的兼容性，以实现最优的内存访问和通信效率。

提出的方法

• 使用带幂迭代的随机子空间迭代，以增强随机投影矩阵的范围。
• 对投影矩阵应用无主元QR分解，以提取列空间的基。
• 构建URV分解，其中A = U R V*，U的列正交，R为上三角矩阵，V正交。
• 通过PowerURV与随机化SVD（RSVD）之间的等价性，继承其理论收敛保证。
• 仅使用矩阵-矩阵乘法和无主元QR分解，借助level-3 BLAS内核在现代硬件上实现高性能。
• 通过幂迭代使U的前导列与主导奇异向量对齐，确保秩揭示性。

实验结果

研究问题

• RQ1 随机化算法是否能在显著低于全SVD计算成本的前提下，实现接近最优的低秩逼近？
• RQ2 在秩揭示性分解中，PowerURV算法在精度和速度上与CPQR、全SVD和QLP方法相比如何？
• RQ3 在秩揭示性分解的背景下，幂迭代在多大程度上提升了随机基的质量？
• RQ4 是否能够仅通过level-3 BLAS操作高效计算秩揭示性分解，同时保持高数值精度？
• RQ5 PowerURV与随机化SVD（RSVD）在逼近质量与计算成本方面有何关系？

主要发现

• PowerURV在计算成本显著低于全SVD的前提下，实现了接近最优的低秩逼近，尤其在数值秩与矩阵维度相差不大的情形下表现更优。
• 该方法在实际应用中与随机化SVD（RSVD）的精度相当，尽管RSVD因多一次矩阵-向量乘法而略胜一筹。
• 数值实验表明，PowerURV在秩揭示质量上优于CPQR，避免了CPQR已知的任意差逼近问题。
• 由于依赖level-3 BLAS操作，该算法在现代硬件上表现出极高效率，支持高计算吞吐量。
• PowerURV分解通过一次紧凑的分解即可实现高质量的低秩逼近，且可在任意秩处截断。
• PowerURV与RSVD之间的理论等价性确保了该方法继承了强大的收敛特性，尤其是在使用幂迭代时。