[论文解读] Superfast CUR Matrix Algorithms, Their Pre-Processing and Extensions

Victor Y. Pan, Qi Luan+2 more|arXiv (Cornell University)|Oct 22, 2017

Electromagnetic Scattering and Analysis参考文献 78被引用 5

一句话总结

本文提出了一类超快速CUR矩阵算法，通过将交叉近似（C-A）与稀疏、结构化的随机预处理相结合，实现在亚线性时间和内存下的精确低秩近似（LRA）。理论证明表明，以高概率（whp），这些方法能对随机、稀疏及平均矩阵产生精确的CUR近似，从而实现显著加速——例如在快速多体方法中，时间复杂度从二次方降至近乎线性，且不损失精度。

ABSTRACT

We study superfast algorithms that computes low rank approximation of a matrix (hereafter referred to as LRA) that use much fewer memory cells and arithmetic operations than the input matrix has entries. We first specify a family of 2mn matrices of size m*n such that for almost 50% of them any superfast LRA algorithm fails to improve the poor trivial approximation by the matrix filled with zeros, but then we prove that the class of all such hard inputs is narrow - the cross-approximation (hereafter {C-A}) superfast iterations as well as some more primitive superfast algorithms compute reasonably accurate LRAs in their transparent CUR form (i) to any matrix allowing close LRA except for small norm perturbations of matrices of an algebraic variety of a smaller dimension, (ii) to the average matrix allowing close LRA, (iii) to the average sparse matrix allowing close LRA and (iv) with a high probability to any matrix allowing close LRA if it is pre-processed fast with a random Gaussian, SRHT or SRFT multiplier. Moreover empirically the output LRAs remain accurate when we perform the computations superfast by replacing such a multiplier with one of our sparse and structured multipliers. Our techniques, auxiliary results and extensions may be of some independent interest. We analyze C-A and other superfast algorithms twice -- based on two well-known sufficient criteria for obtaining accurate LRAs. We provide a distinct proof in the case of superfast variant of randomized algorithms of [DMM08], improve a decade-old estimate for the norm of the inverse of a Gaussian matrix, prove such an estimate also in the case of a sparse Gaussian matrix, present some novel advanced pre-processing techniques for fast and superfast computation of LRA, and extend our results to dramatic acceleration of the Fast Multipole Method (FMM) and the Conjugate Gradient algorithms.

研究动机与目标

• 解决超快速低秩近似（LRA）算法在最坏情况下的理论保证缺失问题，特别是针对结构化或稀疏矩阵。
• 通过引入随机预处理，克服标准超快速算法在某些秩一矩阵上失效的局限性，提升稳定性和精度。
• 证明交叉近似（C-A）及相关超快速算法对随机和平均矩阵能以高概率（whp）产生精确的CUR近似。
• 通过在C-A之前应用稀疏、结构化的随机乘子，实现对一般矩阵的超快速LRA计算，保持精度的同时维持亚线性复杂度。
• 通过将时间复杂度从二次方降至近乎线性，加速科学计算中的计算密集型阶段，如快速多体方法。

提出的方法

• 在进行CUR近似前，对输入矩阵应用稀疏、结构化的随机预处理矩阵（如高斯分布、SRHT、SRFT），以提升稳定性和精度。
• 使用交叉近似（C-A）算法，其具有超快速特性并能保持稀疏性和结构，从预处理后的矩阵中计算CUR近似。
• 利用随机矩阵理论证明，使用高斯或结构化随机矩阵进行预处理，可在高概率（whp）下获得精确的CUR近似。
• 用稀疏、结构化的预处理矩阵替代密集的预处理乘子，以在保持超快速复杂度的同时维持近似精度，经大量真实世界测试验证。
• 结合数值线性代数与计算机科学的洞见，优化C-A算法并提升效率，尤其在低秩近似和矩阵结构保持方面。
• 采用子空间采样和最大体积技术选择CUR分解中有信息量的列和行，确保高质量的低秩近似。

实验结果

研究问题

• RQ1 尽管在最坏输入下会失效，超快速CUR算法是否仍能对随机和平均矩阵实现精确的低秩近似？
• RQ2 使用结构化随机矩阵（如SRHT、SRFT）进行预处理是否能在保持CUR近似精度的同时实现亚线性时间复杂度？
• RQ3 稀疏且结构化的随机预处理能否替代超快速LRA中的密集乘子而不降低近似质量？
• RQ4 当应用于预处理后的矩阵时，C-A及相关超快速算法的精度具有何种理论保证？
• RQ5 超快速LRA在多大程度上能加速科学计算中的瓶颈阶段，如快速多体方法？

主要发现

• 本文证明，交叉近似（C-A）及其他超快速算法能以高概率（whp）对随机和稀疏矩阵实现精确的CUR低秩近似。
• 使用高斯、SRHT或SRFT随机矩阵进行预处理，可确保即使在非固有良好条件的矩阵上，所得CUR近似也具有高概率的精度。
• 稀疏且结构化的随机预处理矩阵在保持超快速复杂度的同时，也维持了近似精度，经大量真实世界数据测试验证。
• 所提方法将快速多体方法瓶颈阶段的计算时间从二次方降至近乎线性，实现显著加速。
• 理论分析表明，超快速LRA适用于平均矩阵和平均稀疏矩阵，拓展了C-A在已知局限之外的应用范围。
• 数值线性代数与计算机科学技术的协同作用，使粗略的超快速LRA得以优化，并提升了C-A步骤的效率。