[论文解读] The least singular value of a random square matrix is O(n^{-1/2})

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|May 22, 2008

Random Matrices and Applications参考文献 3被引用 4

一句话总结

本文建立了具有 i.i.d. 子高斯条目的 $ n\times n $ 随机矩阵的最小奇异值的上尾界，证明了以高概率有 $ s_n(A) = O(n^{-1/2}) $。通过小球概率估计和最小公分母框架，作者完成了对最小奇异值的刻画，其结果为 $ \Theta(n^{-1/2}) $，从而确认了随机矩阵理论中关于一般子高斯系综的长期猜想。

ABSTRACT

Let A be a matrix whose entries are real i.i.d. centered random variables with unit variance and suitable moment assumptions. Then the smallest singular value of A is of order n^{-1/2} with high probability. The lower estimate of this type was proved recently by the authors; in this note we establish the matching upper estimate.

研究动机与目标

• 建立具有 i.i.d. 子高斯条目的随机方阵最小奇异值的上尾界。
• 将最小奇异值完全刻画为 $ \Theta(n^{-1/2}) $，与此前证明的下界相匹配。
• 解决冯·诺依曼和斯莫尔关于随机矩阵最小奇异值典型量级的猜想。
• 将小球概率框架扩展至控制随机矩阵的逆及其奇异值。

提出的方法

• 利用最小奇异值与逆矩阵算子范数之间的对偶性：$ s_n(A) = \inf_{\|x\|_2=1} \|Ax\|_2 = 1/\|A^{-1}\| $。
• 应用双正交系和正交投影，将 $ \|A^{-1}x\|_2 $ 与随机向量到随机子空间的距离联系起来。
• 使用最小公分母（LCD）量化随机向量和子空间的算术结构，从而实现小球概率估计。
• 利用集中不等式和条件概率控制 $ A^{-1}x $ 的投影范数，其中 $ x $ 是某一列在其余列张成空间正交补上的分量。
• 应用文献 [3] 中的小球概率定理，以界定 i.i.d. 子高斯随机变量线性组合取小值的概率。
• 通过马尔可夫不等式和矩阵指标上的并集界，结合残差向量范数和逆像范数的尾界。

实验结果

研究问题

• RQ1 对于具有 i.i.d. 子高斯条目的 $ n \times n $ 随机矩阵，其最小奇异值 $ s_n(A) $ 的精确阶数是多少？
• RQ2 此前已证明的下界 $ s_n(A) = \Omega(n^{-1/2}) $ 是否可与相应的上界匹配，从而确认其 $ \Theta(n^{-1/2}) $ 的标度？
• RQ3 通过最小公分母衡量的随机子空间的算术结构，如何影响 i.i.d. 随机变量线性形式的小球概率？
• RQ4 小球方法在多大程度上可被扩展以控制随机矩阵逆的范数？
• RQ5 对于较大的 $ K $，尾概率 $ \mathbb{P}(s_n(A) > K n^{-1/2}) $ 的精确高概率衰减速率是什么？

主要发现

• 对于所有 $ K \geq 2 $，有 $ \mathbb{P}(s_n(A) > K n^{-1/2}) \leq (C/K)\log K + c^n $，其中常数依赖于子高斯矩 $ B $ 的多项式形式。
• 上界与此前证明的下界 $ s_n(A) = \Omega(n^{-1/2}) $ 匹配，从而确认以高概率有 $ s_n(A) = \Theta(n^{-1/2}) $。
• 该结果在子高斯矩假设下成立，包括有界、对称 $ \pm 1 $ 及高斯条目。
• 证明依赖于通过最小公分母控制特定残差向量 $ x $ 的 $ A^{-1}x $ 范数，以防止算术集中。
• 尾概率在 $ K $ 上呈多项式衰减，在 $ n $ 上呈指数衰减，表明 $ s_n(A) $ 在 $ n^{-1/2} $ 附近具有强集中性。
• 通过逼近方法，该分析可推广至四阶矩假设，得到类似的 $ O(n^{-1/2}) $ 界，且依赖于 $ \delta $ 和 $ B $ 的多项式形式。