[论文解读] RSVDPACK: Subroutines for computing partial singular value decompositions via randomized sampling on single core, multi core, and GPU architectures

Sergey Voronin, Per‐Gunnar Martinsson|arXiv (Cornell University)|Feb 18, 2015

Stochastic Gradient Optimization Techniques参考文献 2被引用 27

一句话总结

RSVDPACK 在单核 CPU、多核 CPU 和 GPU 上实现了针对硬件优化的随机化算法，用于计算部分奇异值分解（SVD）。通过改进 Halko 等人（2011）提出的随机化 SVD 框架，该工具在多种计算架构上均实现了高性能与高精度的低秩矩阵近似。

ABSTRACT

This document describes an implementation in C of a set of randomized algorithms for computing partial Singular Value Decompositions (SVDs). The techniques largely follow the prescriptions in the article Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions, N. Halko, P.G. Martinsson, J. Tropp, SIAM Review, 53(2), 2011, pp. 217-288, but with some modifications to improve performance. The codes implement a number of low rank SVD computing routines for three different sets of hardware: (1) single core CPU, (2) multi core CPU, and (3) massively multicore GPU.

研究动机与目标

• 为现代异构计算架构量身定制高性能的部分 SVD 算法实现。
• 在 Halko 等人（2011）提出的随机化 SVD 框架基础上，引入性能优化的改进，以支持实际部署。
• 通过为每种硬件平台定制的代码路径，实现在单核、多核 CPU 和 GPU 系统上的高效低秩矩阵近似。
• 提供一个生产就绪的软件包，在不同计算平台上实现精度、速度与可移植性之间的良好平衡。

提出的方法

• 采用 Halko 等人（2011）提出的随机化 SVD 算法框架，利用随机投影识别输入矩阵的低维子空间。
• 采用双边随机投影策略，对输入矩阵及其转置的值域进行采样，以实现稳定的低秩近似。
• 针对单核、多核 CPU 和 GPU 执行环境引入架构特定的优化，以最大化性能。
• 利用随机采样降低 SVD 的计算成本，聚焦于主要的奇异值与奇异向量。
• 引入幂迭代精化步骤，以在需要时提升精度，尤其适用于奇异值衰减缓慢的矩阵。
• 提供基于 C 语言的模块化软件接口，为每种硬件目标分别实现内核，以实现高效的内存访问与并行计算。

实验结果

研究问题

• RQ1 如何高效地将随机化 SVD 算法适配到单核、多核 CPU 和 GPU 架构上？
• RQ2 对标准随机化 SVD 框架进行哪些修改可实现可测量的性能提升，同时不牺牲精度？
• RQ3 RSVDPACK 实现的性能在不同硬件平台上进行部分 SVD 计算时如何扩展？
• RQ4 在使用随机采样进行低秩矩阵分解的背景下，计算效率与近似精度之间的权衡是什么？

主要发现

• 通过架构感知的代码优化，RSVDPACK 在所有目标架构——单核 CPU、多核 CPU 和 GPU 上均实现了高性能。
• 与传统的确定性 SVD 方法相比，该实现以更低的计算成本提供了准确的部分 SVD。
• 随机采样使低秩近似更加高效，尤其适用于全 SVD 不可行的大规模矩阵。
• 该软件在多核和 GPU 系统上表现出强大的可扩展性，对大规模矩阵的性能显著优于标准 SVD 例程。
• 采用幂迭代精化可提升奇异值聚集或衰减缓慢的矩阵的精度。
• 模块化设计使得在异构系统上无缝部署成为可能，同时保持高性能与数值稳定性。