[论文解读] True BLAS-3 Performance QRCP using Random Sampling

Jed A. Duersch, Ming Gu|arXiv (Cornell University)|Sep 23, 2015

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

该论文提出了一种基于随机采样与BLAS-3操作的通信避免型QRCP算法，通过样本化列范数近似，实现接近无选主元QR的性能，同时保持与传统QRCP相当的精度。通过避免昂贵的尾部矩阵更新并引入样本更新公式，该方法实现了快速、可扩展的截断SVD与低秩近似，在共享内存系统上展现出强大的并行性能。

ABSTRACT

The dominant contribution to communication complexity in factorizing a matrix using QR with column pivoting is due to column-norm updates that are required to process pivot decisions. We use randomized sampling to approximate this process which dramatically reduces communication in column selection. We also introduce a sample update formula to reduce the cost of sampling trailing matrices. Using our column selection mechanism we observe results that are comparable to those obtained from the QRCP algorithm, but with performance near unpivoted QR. We also demonstrate strong parallel scalability on shared memory multiple core systems using an implementation in Fortran with OpenMP. This work immediately extends to produce low-rank truncated approximations of large matrices. We propose a truncated QR factorization with column pivoting that avoids trailing matrix updates which are used in current implementations of BLAS-3 QR and QRCP. Provided the truncation rank is small, avoiding trailing matrix updates reduces approximation time by nearly half. By using these techniques and employing a variation on Stewart's QLP algorithm, we develop an approximate truncated SVD that runs nearly as fast as truncated QR.

研究动机与目标

• 减少QRCP分解中因选主元时频繁更新列范数而导致的通信开销。
• 在保持列主元QR数值稳定性和精度的同时，实现接近无选主元QR的性能。
• 通过消除BLAS-3 QR与QRCP中昂贵的尾部矩阵更新，加速截断矩阵分解。
• 利用OpenMP与Fortran在共享内存多核架构上实现强并行可扩展性。
• 通过改进的QLP算法实现高效的截断SVD，该算法利用所提出的基于采样的QRCP。

提出的方法

• 使用随机采样近似列范数，将昂贵的顺序更新替换为批量化的、BLAS-3优化操作。
• 提出样本更新公式，以在尾部矩阵更新过程中高效维护采样信息，降低计算成本。
• 采用Stewart改进的QLP算法变体，构建近似截断SVD，计算开销极小。
• 设计一种截断QR分解，避免完整的尾部矩阵更新，显著减少低秩近似的计算时间。
• 使用OpenMP与Fortran实现该算法，以在共享内存系统上实现强并行可扩展性。
• 将该方法应用于生成低秩矩阵近似，性能接近无选主元QR，但精度达到QRCP水平。

实验结果

研究问题

• RQ1 随机采样能否有效近似QRCP中的列范数，在不牺牲精度的前提下降低通信成本？
• RQ2 在BLAS-3 QR与QRCP中，尾部矩阵更新在多大程度上可以被避免，以加速截断分解？
• RQ3 在低秩近似任务中，该方法与标准QRCP和无选主元QR相比，在性能与精度上表现如何？
• RQ4 该算法能否在共享内存多核系统上实现强并行可扩展性，同时保持高性能？
• RQ5 当截断秩较小时，所提出的截断SVD相比现有方法的性能提升如何？

主要发现

• 所提方法在保持接近传统QRCP精度的同时，性能接近无选主元QR，显著降低了通信开销。
• 在截断秩较小时，避免截断QR中的尾部矩阵更新可将近似时间减少近一半。
• 样本更新公式有效降低了因子分解过程中维护采样信息的计算成本，实现了高效计算。
• 实现结果表明，使用OpenMP与Fortran在共享内存多核系统上具有强并行可扩展性。
• 所得近似截断SVD的运行速度几乎与截断QR相当，实现了高效的低秩矩阵近似。
• 该方法实现了高性能、通信避免型矩阵分解，适用于大规模数据分析。