[论文解读] RSVDPACK: An implementation of randomized algorithms for computing the singular value, interpolative, and CUR decompositions of matrices on multi-core and GPU architectures

Sergey Voronin, Per‐Gunnar Martinsson|arXiv (Cornell University)|Feb 18, 2015

Stochastic Gradient Optimization Techniques参考文献 3被引用 27

一句话总结

RSVDPACK 是一个开源的 C 语言库，实现了高效的低秩矩阵分解的随机化算法——SVD、插值分解（ID）和 CUR——适用于多核 CPU 和 GPU。它通过将大多数操作转换为高度优化的矩阵-矩阵乘法来加速计算，在 GPU 上尤其显著地提升了性能，同时支持固定秩和基于容差的分解。

ABSTRACT

RSVDPACK is a library of functions for computing low rank approximations of matrices. The library includes functions for computing standard (partial) factorizations such as the Singular Value Decomposition (SVD), and also so called "structure preserving" factorizations such as the Interpolative Decomposition (ID) and the CUR decomposition. The ID and CUR factorizations pick subsets of the rows/columns of a matrix to use as bases for its row/column space. Such factorizations preserve properties of the matrix such as sparsity or non-negativity, are helpful in data interpretation, and require in certain contexts less memory than a partial SVD. The package implements highly efficient computational algorithms based on randomized sampling, as described and analyzed in [N. Halko, P.G. Martinsson, J. Tropp, "Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions," SIAM Review, 53(2), 2011], and subsequent papers. This manuscript presents some modifications to the basic algorithms that improve performance and ease of use. The library is written in C and supports both multi-core CPU and GPU architectures.

研究动机与目标

• 开发一个高性能、可扩展的低秩矩阵分解库，其计算速度优于传统的 SVD 和 QR 方法。
• 支持固定秩和基于容差的分解，实现在数据分析和科学计算中自适应的精度控制。
• 利用随机采样降低计算成本和通信开销，尤其适用于大规模矩阵。
• 通过优化的 BLAS 和 GPU 加速库，在多核 CPU 和 GPU 上提供高效实现。
• 通过结构保持型分解（如 ID 和 CUR）保留稀疏性和非负性等结构特性。

提出的方法

• 核心算法使用随机采样，通过与高斯随机矩阵相乘形成一个紧凑矩阵，将问题规模减小到小而可管理的规模。
• 对紧凑矩阵进行 QR 分解以获得正交基，随后在小矩阵上执行 SVD 以提取主导模式。
• 通过正交基和 SVD 分量重建最终的低秩近似，确保高精度和最小误差。
• 采用分块随机化变体以提高奇异值缓慢衰减或含噪声数据矩阵的精度。
• 实现高度依赖于优化的矩阵-矩阵乘法内核，这些内核在 CPU 和 GPU 上具有高度并行性。
• 该库提供 MATLAB MEX 接口，便于集成到现有科学工作流中，支持密集矩阵和未来支持稀疏矩阵操作。

实验结果

研究问题

• RQ1 如何在多核和 GPU 架构上高效实现随机化算法，以加速低秩矩阵分解？
• RQ2 通过用基于矩阵-矩阵乘法的随机化方法替代传统 SVD 和 QR，能获得多大的性能提升？
• RQ3 结构保持型分解（如 ID 和 CUR）是否能在保持可解释性和稀疏性的同时，实现具有竞争力的精度和速度？
• RQ4 与固定秩方法相比，包含基于容差的分解如何提升在真实世界数据分析中的可用性？
• RQ5 对于奇异值缓慢衰减的矩阵，分块随机化采样对精度有何影响？

主要发现

• 在 6000×12000 的密集矩阵上，RSVDPACK 的 GPU 加速随机化 SVD 运行时间显著低于完整 SVD 和 QR，这得益于 GPU 上高度优化的矩阵-矩阵乘法。
• 分块随机化 QB 基方法虽然比标准随机化 SVD 慢，但支持基于容差的分解，允许用户指定误差界限而非固定秩。
• RSVDPACK 的 MATLAB MEX 接口相较于 PROPACK 的 lansvd 函数表现出显著的速度提升，尤其在较大秩（k=100, 300, 500）时。
• GPU 上的矩阵-矩阵乘法速度最高可达 CPU 的 10 倍，这一性能差异直接转化为所有随机化算法的更快分解时间。
• 通过将大部分计算转换为 BLAS 优化的矩阵-矩阵操作，该库实现了高可扩展性并降低了通信开销，这些操作在现代硬件上具有良好的并行性。
• 该实现支持密集矩阵和未来支持稀疏矩阵操作，目前正在开发用于分布式内存系统，并进一步提升 GPU 性能。