[论文解读] Reconstruction and subgaussian operators

Shahar Mendelson, Alain Pajor+1 more|ArXiv.org|Jun 13, 2005

Sparse and Compressive Sensing Techniques参考文献 20被引用 29

一句话总结

本文提出了一种通用的随机化方法，使用 $k \ll n$ 服从亚高斯分布的各向同性测量来近似 $\mathbb{R}^n$ 中集合 $T$ 内的向量。该方法表明，只要任意 $y \in T$ 在 $\ell_2$-范数下相对于 $X_i$ 的测量向量足够接近，其对真实向量 $v$ 的近似误差将受到一个几何参数 $r_k^*(\theta,T)$ 的控制，且证明了随机 $\{-1,1\}$-多面体以高概率是 $m$-邻近的，其中 $m \leq Ck / \alpha^4 \log(c' n/k)$。

ABSTRACT

We present a randomized method to approximate any vector $v$ from some set $T \subset \R^n$. The data one is given is the set $T$, and $k$ scalar products $(\inr{X_i,v})_{i=1}^k$, where $(X_i)_{i=1}^k$ are i.i.d. isotropic subgaussian random vectors in $\R^n$, and $k \ll n$. We show that with high probability, any $y \in T$ for which $(\inr{X_i,y})_{i=1}^k$ is close to the data vector $(\inr{X_i,v})_{i=1}^k$ will be a good approximation of $v$, and that the degree of approximation is determined by a natural geometric parameter associated with the set $T$. We also investigate a random method to identify exactly any vector which has a relatively short support using linear subgaussian measurements as above. It turns out that our analysis, when applied to $\{-1,1\}$-valued vectors with i.i.d, symmetric entries, yields new information on the geometry of faces of random $\{-1,1\}$-polytope; we show that a $k$-dimensional random $\{-1,1\}$-polytope with $n$ vertices is $m$-neighborly for very large $m\le {ck/\log (c' n/k)}$. The proofs are based on new estimates on the behavior of the empirical process $\sup_{f \in F} |k^{-1}\sum_{i=1}^k f^2(X_i) -\E f^2 |$ when $F$ is a subset of the $L_2$ sphere. The estimates are given in terms of the $γ_2$ functional with respect to the $ψ_2$ metric on $F$, and hold both in exponential probability and in expectation.

研究动机与目标

• 开发一种适用于任意星形集合 $T \subset \mathbb{R}^n$ 的通用且鲁棒的向量近似方法，使用 $k \ll n$ 个线性测量。
• 通过捕捉 $T$ 复杂性的几何参数 $r_k^*(\theta,T)$ 来表征重构误差。
• 建立基于亚高斯随机测量通过基追踪实现稀疏向量精确恢复的条件。
• 研究随机 $\{-1,1\}$-多面体的几何结构，特别是其邻近性特性。

提出的方法

• 该方法使用 $k$ 个独立同分布的各向同性亚高斯随机向量 $X_i \in \mathbb{R}^n$ 来获取标量测量 $\langle X_i, v \rangle$。
• 通过选择任意 $y \in T$，使得测量差值的 $\ell_2$-范数 $\| (\langle X_i, y \rangle) - (\langle X_i, v \rangle) \|_2$ 较小，实现重构。
• 关键误差界通过一个新的经验过程估计获得：$\sup_{f \in F} \left| k^{-1} \sum_{i=1}^k f^2(X_i) - \mathbb{E} f^2 \right|$，其中 $F$ 是 $L_2$ 单位球面的子集。
• 分析依赖于 $F$ 上的 $\psi_2$ 度量下的 $\gamma_2$ 泛函，从而得到高概率和期望界。
• 该方法被应用于 $\ell_1$-最小化问题（基追踪），以恢复稀疏向量，将恢复成功性与多面体的邻近性联系起来。
• 几何参数 $r_k^*(\theta,T)$ 定义为满足 $\rho \geq c \alpha^2 \ell_*(T \cap \rho S^{n-1}) / (\theta \sqrt{k})$ 的下确界 $\rho > 0$，该参数控制重构误差。

实验结果

研究问题

• RQ1 重构任意 $v \in T$ 所需的最少亚高斯测量数量是多少？
• RQ2 如何通过 $\ell_*(T)$ 衡量的 $T$ 的几何复杂性影响重构误差？
• RQ3 在何种条件下，基追踪问题对满足 $|\text{supp}(z)| \leq m$ 的稀疏向量具有唯一解？
• RQ4 随机 $\{-1,1\}$-多面体具有 $n$ 个顶点时，其最大 $m$ 是多少，使得其为 $m$-邻近？
• RQ5 是否可以将相同的恢复保证扩展到非高斯亚高斯测度，如 $\{-1,1\}^n$ 上的均匀测度？

主要发现

• 以至少 $1 - \exp(-c_1 k / \alpha^4)$ 的概率，重构误差满足 $|y - v| \leq 2 \left( \frac{1}{k} \sum_{i=1}^k (\langle X_i, v \rangle - \langle X_i, y \rangle)^2 \right)^{1/2} + r_k^*(1/2, T - T)$。
• 对于任意星形集合 $T$，误差界由几何参数 $r_k^*(\theta,T)$ 控制，该参数依赖于均宽度 $\ell_*(T \cap \rho S^{n-1})$。
• 该方法具有鲁棒性：不要求测量结果完全一致，仅需 $\ell_2$-误差较小，因此比以往方法更稳定。
• 对于 $\{-1,1\}$-取值的向量，随机多面体 $K^+(\Gamma)$ 以高概率是 $m$-邻近的，其中 $m \leq Ck / (\alpha^4 \log(c' n / k))$。
• 相同的邻近性结果也适用于 $K(\Gamma)$，即对称凸包，意味着在相同条件下具有 $m$-对称邻近性。
• 该分析揭示了新的几何洞见：具有 $n$ 个顶点的 $k$-维随机 $\{-1,1\}$-多面体在 $m \leq Ck / \log(c' n/k)$ 时为 $m$-邻近，优于先前的界。