[论文解读] Restricted isometry property of matrices with independent columns and neighborly polytopes by random sampling

Radosław Adamczak, Alexander E. Litvak+2 more|arXiv (Cornell University)|Apr 30, 2009

Sparse and Compressive Sensing Techniques参考文献 19被引用 18

一句话总结

该论文证明，具有独立、各向同性、次指数尾部的随机矩阵以高概率满足限制等距性质（RIP），从而可通过 $ \ell_1 $-最小化精确恢复 $ m $-稀疏向量。关键结果表明，此类矩阵在 $ m \leq Cn / \log^2(cN/n) $ 阶下满足RIP，意味着矩阵列的对称凸包以高概率构成一个 $ m $-中心邻近多面体。

ABSTRACT

This paper considers compressed sensing matrices and neighborliness of a centrally symmetric convex polytope generated by vectors $\pm X_1,...,\pm X_N\in\R^n$, ($N\ge n$). We introduce a class of random sampling matrices and show that they satisfy a restricted isometry property (RIP) with overwhelming probability. In particular, we prove that matrices with i.i.d. centered and variance 1 entries that satisfy uniformly a sub-exponential tail inequality possess this property RIP with overwhelming probability. We show that such "sensing" matrices are valid for the exact reconstruction process of $m$-sparse vectors via $\ell_1$ minimization with $m\le Cn/\log^2 (cN/n)$. The class of sampling matrices we study includes the case of matrices with columns that are independent isotropic vectors with log-concave densities. We deduce that if $K\subset \R^n$ is a convex body and $X_1,..., X_N\in K$ are i.i.d. random vectors uniformly distributed on $K$, then, with overwhelming probability, the symmetric convex hull of these points is an $m$-centrally-neighborly polytope with $m\sim n/\log^2 (cN/n)$.

研究动机与目标

• 建立随机矩阵的独立列满足限制等距性质（RIP）的充分条件。
• 将此类矩阵的RIP与由其列构成的中心对称凸多面体的邻近性联系起来。
• 证明当传感矩阵满足RIP参数 $ \delta_{2m} < \sqrt{2}-1 $ 时，$ \ell_1 $-最小化可精确重构 $ m $-稀疏向量。
• 推导出在高概率下可实现精确恢复的最大稀疏度 $ m $ 的紧界。

提出的方法

• 引入一类具有独立、各向同性列且满足次指数尾部衰减及 $ \ell_2 $-范数集中性的随机矩阵类。
• 以条件 $ \delta_{2m}(A/\sqrt{n}) < \sqrt{2}-1 $ 作为 $ m $-稀疏向量通过 $ \ell_1 $-重构精确性的充分条件。
• 应用浓度不等式与线性形式的尾部估计，以界住等距常数 $ \delta_{2m} $。
• 采用Sudakov型最小化原理处理指数型随机变量，推导出矩阵在稀疏向量上期望算子范数的下界。
• 分析矩阵列 $ \pm X_1, \dots, \pm X_N $ 的对称凸包 $ K(A) $ 的几何结构，证明在所推导条件下其为 $ m $-中心邻近多面体。
• 使用概率方法界住RIP与邻近性的失败概率，表明其随 $ n $ 呈指数衰减。

实验结果

研究问题

• RQ1 在独立列的分布满足何种条件下，随机矩阵以高概率满足限制等距性质（RIP）？
• RQ2 使用此类随机矩阵时，$ \ell_1 $-最小化可精确恢复 $ m $-稀疏向量的最大稀疏度 $ m $ 是多少？
• RQ3 矩阵列 $ \pm X_1, \dots, \pm X_N $ 的对称凸包 $ K(A) $ 的邻近性与矩阵 $ A $ 的RIP之间有何关系？
• RQ4 在次指数尾部假设下，能否将精确恢复的 $ m $ 的界改进至超过 $ m \sim n / \log^2(N/n) $？
• RQ5 在高维下，RIP与邻近性的失败概率的精确数量级为何？

主要发现

• 具有独立同分布、中心化且满足统一子指数尾部不等式的随机矩阵，以高概率满足 $ m \leq Cn / \log^2(cN/n) $ 阶的限制等距性质（RIP）。
• 当 $ X_i $ 为独立同分布的各向同性向量且具有对数凹密度时，$ \pm X_1, \dots, \pm X_N $ 的对称凸包以高概率为 $ m $-中心邻近多面体，且 $ m \sim n / \log^2(cN/n) $。
• 对于具有独立同分布、满足子指数尾部衰减的矩阵，当 $ m \leq Cn / \log^2(cN/n) $ 时，通过 $ \ell_1 $-最小化可高概率精确恢复 $ m $-稀疏向量。
• 通过在稀疏向量上对矩阵算子范数的匹配下界，表明 $ m $ 的界在数值常数范围内是紧的。
• RIP与邻近性的失败概率以 $ \exp(-c\sqrt{n}) $ 的速率衰减，表明当 $ n \to \infty $ 时成功概率极高。
• 该结果适用于 $ \mathbb{R}^n $ 中凸体 $ K \subset \mathbb{R}^n $ 上的均匀分布向量，表明其对称凸包以高概率为 $ m $-中心邻近多面体，且 $ m \sim n / \log^2(cN/n) $。