[论文解读] Sketching as a Tool for Numerical Linear Algebra

David P. Woodruff|arXiv (Cornell University)|Nov 17, 2014

Matrix Theory and Algorithms参考文献 119被引用 585

一句话总结

本文提出了一种强大的技术——压缩（sketching），通过随机投影将大型矩阵压缩为更小的压缩表示，从而显著加速数值线性代数算法。该方法在最小二乘回归、鲁棒回归、低秩逼近和图稀疏化等任务中实现了近乎最优的性能，且在误差和运行时间方面具有理论保证，包括许多问题的亚线性时间复杂度和对数时间复杂度。

ABSTRACT

This survey highlights the recent advances in algorithms for numerical linear algebra that have come from the technique of linear sketching, whereby given a matrix, one first compresses it to a much smaller matrix by multiplying it by a (usually) random matrix with certain properties. Much of the expensive computation can then be performed on the smaller matrix, thereby accelerating the solution for the original problem. In this survey we consider least squares as well as robust regression problems, low rank approximation, and graph sparsification. We also discuss a number of variants of these problems. Finally, we discuss the limitations of sketching methods.

研究动机与目标

• 开发并分析基于压缩的算法，以显著加速经典数值线性代数问题，如回归和低秩逼近。
• 为压缩方法在 n ≫ d 的过约束设置下的近似误差和运行时间提供理论界。
• 通过通信和流式计算的下界分析压缩的极限，尤其关注施瓦茨范数和子空间嵌入。
• 识别鲁棒低秩逼近、分布式计算和施瓦茨-1范数压缩中的开放问题。
• 统一并综述近期在数值线性代数压缩方面的进展，强调实际效率与理论严谨性的结合。

提出的方法

• 使用随机矩阵投影（压缩）将输入矩阵 A ∈ ℝ^{n×d} 压缩为更小的矩阵 S A ∈ ℝ^{r×d}（其中 r ≪ n），以保留其关键结构特性。
• 通过具有次高斯或重尾分布的矩阵（如高斯、柯西、指数分布）实现子空间嵌入，以保留所有 x 的 A x 的 ℓ₂ 和 ℓ₁ 范数。
• 将压缩应用于最小二乘法的正规方程，用 (S A)^T (S A) 替代 A^T A，将计算复杂度从 O(nd²) 降低至 O(rd²)。
• 引入自适应采样和 CUR 分解，利用压缩进行列选择，构建具有可证明误差界的低秩逼近。
• 在分布式和流式计算模型中利用压缩技术，以减少通信和空间复杂度，实现 s 个参与方的 O(sdk/ε) 通信复杂度。
• 使用矩阵压缩来近似施瓦茨范数，特别是核范数（p=1），并证明常数因子近似下压缩维度的下界。

实验结果

研究问题

• RQ1 能否在高概率下实现亚线性时间复杂度，使用压缩技术获得最小二乘回归的 (1+ε)-近似解？
• RQ2 在常数因子近似下，近似矩阵施瓦茨-1范数的最优压缩维度是多少？
• RQ3 能否将压缩技术扩展到具有可证明误差和效率保证的 ℓ₁-损失（L1-回归）鲁棒回归？
• RQ4 在分布式和流式计算环境中，针对低秩逼近和回归，压缩的通信和空间复杂度下界是什么？
• RQ5 是否存在一个多项式时间算法，用于在逐元素 ℓ₁-范数下实现鲁棒低秩逼近（即 ∥A - Ã∥₁ ≤ (1+ε)∥A - Aₖ∥₁）？

主要发现

• 压缩技术可在 O(nnz(A) + n·poly(k/ε)) 时间内实现 (1+ε)-近似最小二乘回归，显著优于经典方法的 O(nd²) 复杂度。
• 对于 ℓ₁-回归，使用柯西或指数分布的随机变量进行压缩，可提供支持基于采样求解器的子空间嵌入。
• 对低秩矩阵的弗罗贝尼乌斯范数近似，只需多对数时间复杂度的压缩维度，其误差界与已知最优结果一致。
• 本文建立了对施瓦茨-1范数（核范数）压缩的 Ω(n^{1/2}) 下界，以实现常数因子近似，并在矩阵压缩约束下展示了改进的下界。
• 提出了一种 O(sdk/ε) 通信复杂度的分布式低秩逼近协议，其复杂度在对数因子内匹配已知的 Ω(sdk) 下界。
• 本文识别出若干开放问题，包括 ℓ₁-低秩逼近是否存在高效算法，以及能否证明分布式压缩的 Ω(sdk/ε) 通信下界。