[论文解读] Randomized Numerical Linear Algebra: Foundations & Algorithms.

Per‐Gunnar Martinsson, Joel A. Tropp|arXiv (Cornell University)|Feb 4, 2020

Stochastic Gradient Optimization Techniques参考文献 158被引用 24

一句话总结

本文全面综述了随机数值线性代数（RandNLA）技术，通过概率采样和随机投影加速矩阵计算。它将理论基础与低秩逼近、矩阵回归、核矩阵压缩和求解器的实用算法统一起来，表明随机方法在减少计算成本和数据移动的同时，能以高精度处理大规模问题。

ABSTRACT

This survey describes probabilistic algorithms for linear algebra computations, such as factorizing matrices and solving linear systems. It focuses on techniques that have a proven track record for real-world problem instances. The paper treats both the theoretical foundations of the subject and the practical computational issues. Topics covered include norm estimation; matrix approximation by sampling; structured and unstructured random embeddings; linear regression problems; low-rank approximation; subspace iteration and Krylov methods; error estimation and adaptivity; interpolatory and CUR factorizations; Nystr\"om approximation of positive-semidefinite matrices; single view ("streaming") algorithms; full rank-revealing factorizations; solvers for linear systems; and approximation of kernel matrices that arise in machine learning and in scientific computing.

研究动机与目标

• 通过引入概率替代方案，解决经典数值线性代数在大规模数据集上的计算瓶颈。
• 提供一个统一框架，连接随机算法的理论保证与实际实现。
• 通过最小化数据移动并支持流式处理或外部存储计算，实现在现代架构（GPU、分布式系统）上的高效计算。
• 提供可证明准确且自适应的方法，用于低秩逼近、回归、特征值计算和核矩阵压缩。
• 弥合理论分析与实际性能之间的差距，证明其在速度和可扩展性方面优于经典方法。

提出的方法

• 使用随机采样和子空间嵌入，以高概率近似矩阵范数、迹和奇异值。
• 应用结构化随机投影（例如，子采样哈达玛变换），在保持谱结构的同时降低维度。
• 开发随机范围查找算法，通过随机投影和QR分解计算接近最优的低秩逼近。
• 集成误差估计和自适应机制，根据收敛准则动态调整采样和迭代次数。
• 利用CUR和插值分解，从数据矩阵中提取可解释的低秩逼近，仅使用实际的列和行。
• 在流式或分布式环境中应用Nyström和单次遍历算法，实现核矩阵的增量式或单次遍历计算。

实验结果

研究问题

• RQ1 如何利用随机投影以高概率高效地近似矩阵范数和迹？
• RQ2 使用随机采样和子空间嵌入进行低秩矩阵逼近时，其理论保证是什么？
• RQ3 在大规模问题中，随机算法与经典方法在准确性、速度和内存使用方面有何比较？
• RQ4 自适应采样策略是否能改善迭代求解器和低秩逼近中的收敛性并降低计算成本？
• RQ5 结构化随机矩阵（例如，子采样哈达玛矩阵）在加速核矩阵逼近和线性系统求解中起什么作用？

主要发现

• 随机算法以O(k)采样实现高精度低秩逼近，其中k为目标秩，在实践中显著优于经典方法。
• 随机范围查找算法以高概率在O(mn log k)时间内计算出秩-k逼近，仅需少量随机投影。
• 结构化随机嵌入（例如，子采样哈达玛矩阵）降低了随机投影的计算成本，同时保持了谱特性，从而实现更快的计算。
• 自适应误差估计可动态调整采样策略，减少不必要的计算，同时不牺牲准确性。
• Nyström和CUR方法提供了可解释的低秩逼近，保留了原始矩阵的结构信息。
• 针对图拉普拉斯矩阵和核矩阵的随机求解器实现了近乎线性时间复杂度，使机器学习和科学计算中的可扩展解决方案成为可能。