[论文解读] On the interval of fluctuation of the singular values of random matrices

Olivier Guédon, Alexander E. Litvak+2 more|arXiv (Cornell University)|Sep 8, 2015

Random Matrices and Applications参考文献 31被引用 5

一句话总结

本文在一般重尾衰减假设下，建立了具有重尾或次指数条目的随机矩阵的高概率受限等距性（RIP）及协方差矩阵逼近。通过分析满足 H(φ) 假设的尾部衰减，其中 φ(t) = t^p（p > 4）或 φ(t) = (1/2)exp(t^α)（α ∈ (0,2]），证明了当列范数集中在 √n 附近时，A/√n 以高概率满足阶数 m = nψ(n/N) 的 RIP，并提供了经验协方差矩阵的精确收敛速率，将已知结果推广至更重的尾部分布，同时推广了次高斯和次指数情形。

ABSTRACT

Let $A$ be a matrix whose columns $X_1,\dots, X_N$ are independent random vectors in $\mathbb{R}^n$. Assume that the tails of the 1-dimensional marginals decay as $\mathbb{P}(|\langle X_i, a angle|\geq t)\leq t^{-p}$ uniformly in $a\in S^{n-1}$ and $i\leq N$. Then for $p>4$ we prove that with high probability $A/{\sqrt{n}}$ has the Restricted Isometry Property (RIP) provided that Euclidean norms $|X_i|$ are concentrated around $\sqrt{n}$. We also show that the covariance matrix is well approximated by the empirical covariance matrix and establish corresponding quantitative estimates on the rate of convergence in terms of the ratio $n/N$. Moreover, we obtain sharp bounds for both problems when the decay is of the type $ \exp({-t^{\alpha}})$ with $\alpha \in (0,2]$, extending the known case $\alpha\in[1, 2]$.

研究动机与目标

• 在一般尾部衰减假设下，建立具有重尾条目的随机矩阵的受限等距性（RIP）。
• 在矩条件与尾部条件下，量化经验协方差矩阵收敛到真实协方差矩阵的速率。
• 将已知的 RIP 与协方差逼近结果从次高斯和次指数情形推广至更重尾分布。
• 以 n/N 比值与尾部参数为变量，提供 RIP 成立的稀疏度水平 m 的精确、非渐近界。

提出的方法

• 采用尾部行为假设 H(φ)：对所有 a ∈ Sn−1 和 t > 0，有 P(|⟨Xi, a⟩| ≥ t) ≤ τ/φ(t)，其中 φ(t) = t^p（p > 4）或 φ(t) = (1/2)exp(t^α)（α ∈ (0,2]）。
• 应用罗森塔尔型不等式与集中不等式，通过集中函数 P(θ) 控制列范数偏离 √n 的偏差。
• 利用偏差不等式与并集界估计子矩阵 AI 的最大奇异值波动，通过等距常数 δm 将其与 RIP 关联。
• 结合顺序统计与矩估计，界 Am = max_{|I|=m} ||(AI)^T AI - mI||，以控制子矩阵的谱波动。
• 应用对称化与比较技术，推导 Am 的上下界，证明稀疏度水平的最优性。
• 结合范数集中与谱波动结果，推导出 m = nψ(n/N) 时的非渐近 RIP 保证，其中 ψ 依赖于 p 或 α。

实验结果

研究问题

• RQ1 在何种尾部衰减条件下（如幂律或指数型），归一化随机矩阵 A/√n 以高概率满足受限等距性（RIP）？
• RQ2 在 n/N 比值与尾部参数 p 或 α 的表达下，RIP 成立的最大稀疏度水平 m 是什么？
• RQ3 在重尾假设下，经验协方差矩阵 (1/N)AA^T 收敛到真实协方差矩阵 (1/N)E[AA^T] 的速率如何？
• RQ4 对 Am 与 δm(A/√n) 推导出的界是否精确？其对 n、N 与尾部参数的依赖关系为何？
• RQ5 已知的次高斯与次指数矩阵的 RIP 结果能否推广至更重尾分布，如 φ(t) = exp(t^α) 且 α ∈ (0,2) 的情形？

主要发现

• 当 p > 4 且满足范数集中条件时，A/√n 以高概率满足阶数 m = nψ(n/N) 的 RIP，其中 ψ 依赖于 p 与 θ。
• 本文建立了 Am = max_{|I|=m} ||(AI)^T AI - mI|| 的精确上界，证明其以高概率满足 Am ≤ Cp (ln p / p)^(1/2) * (N/m)^(1/p) * (ln(2N/m))^(-1/p)。
• 当 α ∈ (0,2] 时，本文证明 Am ≥ c √m (ln(N/m))^(1/α) 的概率至少为 1/2，表明该界在绝对常数意义下最优。
• 当列向量满足对所有 a ∈ Sn−1 有 E|⟨Xi, a⟩|^p ≤ 1 时，RIP 以概率 >1/2 成立的最大 m 满足 m (N/m)^{2/q} ≤ C n，其中 q > p > 2。
• 当 α ∈ [1,2] 且满足 N ≤ exp(cnα/2) 时，矩阵满足 P(max_i ||Xi||^2/n - 1 ≥ √2 - 1/2) ≤ 2 exp(-cnα/2)，表明范数集中性极强。
• 本文证明：若 A 以 δ < 1 的 RIPm(δ) 成立且概率 >1/2，则有 m (ln(N/m))^{2/α} ≤ 4n，表明稀疏度水平在常数意义下最优。