[论文解读] Sparse Recovery, Kashin Decomposition and Conic Programming

Alexandre d’Aspremont|arXiv (Cornell University)|Jan 15, 2011

Mathematical Approximation and Integration参考文献 16被引用 8

一句话总结

本文提出了一种新颖的框架，将稀疏恢复、Kashin分解与锥规划相结合，推导出在 $\mathbb{R}^n$ 中 $\ell_1$-球截面直径的紧致松弛界。通过利用对偶性与半定规划松弛，本文建立了通过 $\ell_1$-最小化实现精确稀疏信号恢复的充分条件，尤其在受限等距与随机零空间假设下，利用 $\ell_2 \to \ell_1$ 算子范数与 MAXCUT 类型的 SDP 近似，给出了恢复性能的显式界。

ABSTRACT

We produce relaxation bounds on the diameter of arbitrary sections of the l1 ball in R^n. We use these results to test conditions for sparse recovery.

研究动机与目标

• 使用 Kashin 分解技术，推导出 $\mathbb{R}^n$ 中 $\ell_1$-球任意截面直径的可计算松弛界。
• 建立 $\ell_1$-最小化精确恢复稀疏信号的充分条件，特别针对 $\{-1,0,1\}^n$ 中的离散信号。
• 通过对偶范数与算子范数界，将压缩感知的恢复性能与感知矩阵 $A$ 的零空间的几何性质联系起来。
• 利用半定规划与高斯平均，近似 Dvoretzky 维数及相关几何量（如 $M(K)$, $M^*(K)$），以获得概率恢复保证。
• 提出一种随机化多项式时间算法，用于估计通过 $\ell_1$-最小化精确恢复 $S$-稀疏信号所需的测量数。

提出的方法

• 利用 Kashin 分解，在受限等距常数 $\delta < 1$ 的条件下，对 $A$ 的零空间上 $\|x\|_2 / \|x\|_1$ 的比值进行有界，得到关键界 $\leq 2 / ((1 - \delta)\sqrt{k^*})$。
• 应用对偶性，通过条件 $\sup_{Ax=0, \|x\|_1 \leq 1} \|x\| < 1 / \|u\|_*$，刻画 $\ell_1$-可恢复信号集合 $\mathcal{U}$，将恢复性与零空间上的范数比联系起来。
• 采用一种 MAXCUT 类型的半定规划松弛，以近似混合 $\|\cdot\|_{2 \to 1}$ 算子范数，其界为 $\frac{2}{\pi} \text{SDP}(F) \leq \max_{\|x\|_2 \leq 1} \|Fx\|_1^2 \leq \text{SDP}(F)$。
• 利用高斯与球面对平均，近似单位球 $\|Fy\|_1$ 的均宽度 $M(K)$，得到 $M(K) \approx \left(\frac{1}{\sqrt{n}} + \frac{1}{4n^{3/2}}\right) \sqrt{\frac{2}{\pi}} \sum_{i=1}^n \|F_i\|_2$。
• 提出一种随机化算法，通过在球面上采样估计 $M^*(K)$，使用 $N = \mathcal{O}(\log(1/\beta)/\delta^2)$ 个点，以概率 $1 - \beta$ 在相对误差 $\delta$ 内近似 $M^*(K)$。
• 通过 $\mathbb{E}[\min_{F^T x = g} \|x\|_\infty]$ 的对偶表征，将 $M^*(K)$ 的计算转化为对高斯向量的线性规划。

实验结果

研究问题

• RQ1 在何种感知矩阵 $A$ 与信号 $u$ 的条件下，$\ell_1$-最小化能从 $Au$ 中精确恢复 $u$？
• RQ2 如何利用 Kashin 分解与对偶范数不等式，对 $\ell_1$-球截面的直径进行有界？
• RQ3 受限等距性与 $A$ 的零空间上 $\ell_2 / \ell_1$ 比值之间有何关系？
• RQ4 能否通过半定规划高效近似 $\ell_2 \to \ell_1$ 算子范数？其近似质量如何？
• RQ5 如何在高维中通过采样与概率方法估计 $\ell_1$-截面的均宽度 $M(K)$ 与对偶均宽度 $M^*(K)$？

主要发现

• 当 $A$ 满足阶数为 $3k^*$、常数 $\delta < 1$ 的受限等距性时，$\sup_{Ax=0} \|x\|_2 / \|x\|_1$ 的比值被有界为 $2 / ((1 - \delta)\sqrt{k^*})$。
• 对于离散信号 $u \in \{-1,0,1\}^n$，若 $\sup_{Ax=0, \|x\|_1 \leq 1} \|x\| < 1 / \|u\|_*$，则 $u$ 是 $\ell_1$-可恢复的，确保 $\ell_1$-最小化的解与真实信号的支撑集与符号模式一致。
• 对于满足 $AF = 0$ 的矩阵 $F$，其 $\ell_2 \to \ell_1$ 算子范数可通过半定规划在因子 $2/\pi$ 内近似，从而实现恢复界的有效计算。
• 单位球 $\|Fy\|_1$ 的球面对均宽度 $M(K)$ 渐近为 $\left(\frac{1}{\sqrt{n}} + \frac{1}{4n^{3/2}}\right) \sqrt{\frac{2}{\pi}} \sum_{i=1}^n \|F_i\|_2$，将几何与概率度量联系起来。
• 通过在球面上采样 $N = \mathcal{O}(\log(1/\beta)/\delta^2)$ 个点，可估计 $M^*(K)$，在高概率 $1 - \beta$ 下实现相对误差 $\delta$ 的界。
• 提出一种随机化多项式时间算法，用于估计通过 $\ell_1$-最小化实现精确 $S$-稀疏信号恢复所需的测量数 $S$，其基础为通过高斯向量上的线性规划近似 $M^*(K)$。