[论文解读] Sampling from large matrices: an approach through geometric functional analysis

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|Mar 21, 2005

Sparse and Compressive Sensing Techniques被引用 21

一句话总结

本文提出一种基于采样的方法，通过随机子矩阵近似大型矩阵，实现最优采样复杂度 $ O(r\log r) $，其中 $ r $ 为数值秩。证明了在此大小的随机子矩阵下，可高概率地以谱范数近似原矩阵，从而实现高效低秩近似与 SVD 计算，时间与空间复杂度接近线性。

ABSTRACT

We study random submatrices of a large matrix A. We show how to approximately compute A from its random submatrix of the smallest possible size O(r log r) with a small error in the spectral norm, where r = ||A||_F^2 / ||A||_2^2 is the numerical rank of A. The numerical rank is always bounded by, and is a stable relaxation of, the rank of A. This yields an asymptotically optimal guarantee in an algorithm for computing low-rank approximations of A. We also prove asymptotically optimal estimates on the spectral norm and the cut-norm of random submatrices of A. The result for the cut-norm yields a slight improvement on the best known sample complexity for an approximation algorithm for MAX-2CSP problems. We use methods of Probability in Banach spaces, in particular the law of large numbers for operator-valued random variables.

研究动机与目标

• 开发一种仅使用小随机子矩阵来近似大型矩阵的方法，以最小化采样复杂度。
• 建立随机子矩阵的谱范数与割范数的渐近最优界。
• 实现在外部存储矩阵上的一轮或两轮低秩近似与 SVD 算法，实现最小内存与时间消耗。
• 通过割范数估计改进 MAX-2CSP 近似算法的采样复杂度。
• 利用几何泛函分析与 Banach 空间中的概率工具，提供理论保证。

提出的方法

• 从矩阵 $ A $ 中以替换方式采样 $ d = O\left(\frac{r}{\varepsilon^4\delta}\log\frac{r}{\varepsilon^4\delta}\right) $ 行，采样概率与行的 $ \ell^2 $-范数平方成正比。
• 利用采样子矩阵 $ \tilde{A} $ 的奇异值分解（SVD）计算其前 $ k $ 个左奇异向量张成的投影 $ P_k $。
• 通过 $ AP_k $ 近似原矩阵 $ A $，从而在谱范数下实现低秩近似。
• 应用算子值随机变量的大数定律，控制近似误差的谱范数。
• 使用集中不等式与对称化技术（如 Rademacher 与高斯过程）来界定随机子矩阵的期望算子范数。
• 借助几何泛函分析工具，包括奇异值的 $ \ell^2 $-范数与 $ \ell^1 $-范数，推导出数值秩 $ r = \|A\|_F^2 / \|A\|_2^2 $ 的界。

实验结果

研究问题

• RQ1 使用随机子矩阵近似大型矩阵 $ A $ 在谱范数下所需的最小采样规模是多少？
• RQ2 基于随机子矩阵的低秩近似，其谱范数误差能否以高概率被界定？
• RQ3 数值秩 $ r = \|A\|_F^2 / \|A\|_2^2 $ 与矩阵近似最优采样复杂度之间有何关系？
• RQ4 随机子矩阵的谱范数与割范数的渐近最优界是什么？
• RQ5 割范数估计能否改进 MAX-2CSP 近似算法的采样复杂度？

主要发现

• 本文证明，$ O(r\log r) $ 的采样规模足以以高概率在谱范数下近似 $ A $，其中 $ r $ 为数值秩。
• 近似误差满足 $ \|A - AP_k\|_2 \leq \sigma_{k+1}(A) + \varepsilon\|A\|_2 $，且该结果以高概率成立，其中 $ \varepsilon $ 控制加法误差。
• 该方法支持一或两轮算法实现低秩近似与 SVD，时间与空间复杂度为 $ O(n + m) $，且在 $ r $ 与 $ k $ 上为多项式时间。
• 通过对称化与集中不等式，对随机子矩阵的谱范数进行界定，得到在适当采样条件下 $ \mathbb{E}\|\tilde{A}\|_2 \leq C\|A\|_2\sqrt{\log r} $。
• 采用类似技术对随机子矩阵的割范数进行界定，从而在 MAX-2CSP 近似中实现采样复杂度的微小改进。
• 分析表明，误差算子的期望谱范数受控于 $ \sqrt{\log q} \cdot \|A\|_{(n/q)} + \sqrt{q/n} $，其中 $ q $ 为采样行数。