[论文解读] Spectral norm of products of random and deterministic matrices

Roman Vershynin|arXiv (Cornell University)|Dec 12, 2008

Random Matrices and Applications参考文献 27被引用 4

一句话总结

该论文证明了，对于乘积矩阵 $ W = BA $，其中 $ A $ 是一个具有独立、均值为零的项的随机 $ N \times n $ 矩阵，其四阶以上矩（$ (4+\varepsilon) $-th moments）有界，且 $ B $ 是一个满足 $ \|B\| \leq 1 $ 的固定 $ m \times N $ 矩阵，其谱范数的期望被控制在 $ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $ 以内。该结果表明，在最小矩条件假设下，此类结构化随机矩阵的谱范数行为类似于 i.i.d. 随机矩阵，并将先前关于随机矩阵最小奇异值的界进行了推广。

ABSTRACT

We study the spectral norm of matrices M that can be factored as M=BA, where A is a random matrix with independent mean zero entries, and B is a fixed matrix. Under the (4+epsilon)-th moment assumption on the entries of A, we show that the spectral norm of such an m by n matrix M is bounded by \sqrt{m} + \sqrt{n}, which is sharp. In other words, in regard to the spectral norm, products of random and deterministic matrices behave similarly to random matrices with independent entries. This result along with the previous work of M. Rudelson and the author implies that the smallest singular value of a random m times n matrix with i.i.d. mean zero entries and bounded (4+epsilon)-th moment is bounded below by \sqrt{m} - \sqrt{n-1} with high probability.

研究动机与目标

• 将 i.i.d. 随机矩阵的尖锐谱范数界推广至随机与确定性矩阵的乘积。
• 分析 $ W = BA $ 的谱范数，其中 $ A $ 的元素独立、均值为零，且其 $ (4+\varepsilon) $-阶矩有界于 1，$ B $ 为固定矩阵。
• 建立此类乘积的谱范数被 $ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $ 控制的结论，且该界与中间维度 $ N $ 无关。
• 完成 Rudelson 和 Vershynin 关于随机长方矩阵最小奇异值分析的后续工作。

提出的方法

• 基于 $ B $ 的列的 $ \ell^2 $-范数，将矩阵 $ B $ 分解为大列与小列部分。
• 应用条件矩方法：在最大矩阵元素有界的条件下进行条件化，以保持独立性并控制矩。
• 通过马尔可夫不等式使用截断法，控制矩阵元素的尾部概率。
• 在事件 $ \max_{i,j} |a_{ij}| \leq t $ 成立的条件下，应用推论 4.2（对有界元素矩阵的矩界）。
• 使用网论证与对称化方法，在矩假设下控制谱范数。
• 利用三角不等式 $ \|BA\| \leq \|B_I A_I\| + \|B_{I^c} A_{I^c}\| $，结合大列与小列子矩阵的估计。

实验结果

研究问题

• RQ1 在 $ (4+\varepsilon) $-阶矩条件下，是否可以将 $ W = BA $ 的谱范数（其中 $ A $ 的元素独立、均值为零，$ B $ 为确定性矩阵）控制在 $ C(\varepsilon)(\sqrt{m} + \sqrt{n}) $ 以内？
• RQ2 即使由于分解结构导致元素之间存在依赖性，此类结构化随机矩阵的谱范数是否仍表现出与 i.i.d. 矩阵相似的行为？
• RQ3 该界是否可与中间维度 $ N $（即随机矩阵 $ A $ 的大小）无关？
• RQ4 该结果如何扩展对随机矩阵最小奇异值的分析？

主要发现

• 乘积矩阵 $ W = BA $ 的期望谱范数满足 $ \mathbb{E}\|W\| \leq C(\varepsilon)(\sqrt{m} + \sqrt{n}) $，其中 $ C(\varepsilon) $ 仅依赖于 $ \varepsilon $。
• 该界是紧的，且与中间维度 $ N $ 无关，即使 $ N \gg m,n $ 亦成立。
• 该结果在最小 $ (4+\varepsilon) $-阶矩假设下成立，而该假设已被证明是此类界成立所必需的。
• 证明过程还导出了更强的估计：$ \mathbb{E}\|W\| \leq C(\varepsilon)(\|B\|\sqrt{n} + \|B\|_{\rm{HS}}) $，对任意 $ B $ 均成立。
• 该结果意味着，具有 i.i.d. 元素且 $ (4+\varepsilon) $-阶矩有界的 $ m \times n $ 随机矩阵的最小奇异值，以高概率有下界 $ \sqrt{m} - \sqrt{n-1} $。
• 该分析适用于形式为 $ \Sigma = \frac{1}{n}WW^* $ 的样本协方差矩阵，其中 $ W = BA $，并表明 $ \Sigma $ 的最大特征值被控制在 $ C_1(\varepsilon)(1 + m/n) $ 以内。