[论文解读] randUTV: A blocked randomized algorithm for computing a rank-revealing UTV factorization

Per‐Gunnar Martinsson, Gregorio Quintana‐Ortí+1 more|arXiv (Cornell University)|Mar 3, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用 4

一句话总结

该论文提出 randUTV，一种用于计算低秩逼近的随机化分块算法，其在保持 SVD 类似精度的同时，显著快于传统 SVD，且更易于并行化。该方法利用随机子空间迭代和增量式、非迭代的分块处理，计算正交矩阵 U 和 V 以及上三角矩阵 T，支持早期终止，并在现代架构上实现高性能，其中 T 的对角线元素可提供精确的奇异值近似。

ABSTRACT

This manuscript describes the randomized algorithm randUTV for computing a so called UTV factorization efficiently. Given a matrix $A$, the algorithm computes a factorization $A = UTV^{*}$, where $U$ and $V$ have orthonormal columns, and $T$ is triangular (either upper or lower, whichever is preferred). The algorithm randUTV is developed primarily to be a fast and easily parallelized alternative to algorithms for computing the Singular Value Decomposition (SVD). randUTV provides accuracy very close to that of the SVD for problems such as low-rank approximation, solving ill-conditioned linear systems, determining bases for various subspaces associated with the matrix, etc. Moreover, randUTV produces highly accurate approximations to the singular values of $A$. Unlike the SVD, the randomized algorithm proposed builds a UTV factorization in an incremental, single-stage, and non-iterative way, making it possible to halt the factorization process once a specified tolerance has been met. Numerical experiments comparing the accuracy and speed of randUTV to the SVD are presented. These experiments demonstrate that in comparison to column pivoted QR, which is another factorization that is often used as a relatively economic alternative to the SVD, randUTV compares favorably in terms of speed while providing far higher accuracy.

研究动机与目标

• 开发一种快速、可扩展且准确的 SVD 替代方法，用于低秩矩阵逼近。
• 实现一种增量式、非迭代的秩揭示 UTV 分解计算，具备早期终止能力。
• 通过分块矩阵运算和随机采样，在多核 CPU、GPU 和分布式系统上实现高性能。
• 通过上三角因子 T 的对角线元素，提供矩阵奇异值的精确近似。
• 在准确性上优于列主元 QR，同时保持与之相当的速度，尤其在大矩阵上表现更优。

提出的方法

• 该算法使用随机子空间迭代，为输入矩阵 A 的主导左、右奇异子空间构建正交基。
• 以大小为 b 的块处理矩阵，通过酉变换在单阶段分块过程中将每个块缩减为上三角形式。
• 计算 UTV 分解 A = U T V*，其中 U 和 V 为酉矩阵，T 为上三角矩阵，T 的对角线元素近似表示 A 的奇异值。
• 通过引入幂迭代（q ≥ 0）提升精度，当 q=1 或 q=2 时，可实现接近最优的低秩逼近。
• 设计为非迭代且增量式，可在达到所需秩或容差时立即终止。
• 实现中利用高性能矩阵乘法内核（如 BLAS3）以提升现代架构上的效率。

实验结果

研究问题

• RQ1 随机化分块算法是否能在显著快于标准 SVD 的同时，实现 SVD 类似的低秩逼近精度？
• RQ2 与列主元 QR 或 QLP 分解相比，randUTV 算法是否能提供更精确的奇异值近似？
• RQ3 与 SVD 和 CPQR 相比，randUTV 的性能在矩阵规模和处理器数量增加时如何变化？
• RQ4 过度采样在多大程度上提升了 randUTV 的精度？其代价是否合理？
• RQ5 该算法是否能高效地并行化并针对现代多核和分布式内存系统进行优化？

主要发现

• randUTV 实现的低秩逼近误差非常接近理论最小值，在准确性上显著优于列主元 QR。
• 当 q=1 或 q=2 时，randUTV 的逼近误差在所有测试矩阵中均接近最优，包括奇异值衰减缓慢或存在奇异值间隙的矩阵。
• 在 randUTV 中，上三角因子 T 的对角线元素对 A 的奇异值提供了高度精确的近似，优于 CPQR 和 QLP 分解。
• 对于大矩阵，randUTV 显著快于 SVD（如 Intel MKL dgesvd），且其相对速度优势随处理器数量增加而提升。
• 由于采用计算密集型分块运算和高效的内存访问模式，该算法在现代架构上表现出高度可扩展性。
• 过度采样仅带来微小的精度增益，因此在大多数应用中通常无需使用。