[论文解读] Sparse reconstruction by convex relaxation: Fourier and Gaussian measurements

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|Feb 24, 2006

Sparse and Compressive Sensing Techniques参考文献 19被引用 38

一句话总结

该论文首次为通过凸松弛实现精确稀疏信号重构提供了理论保证，针对高斯测量和傅里叶测量均给出了合理的常数。它证明了对于高斯测量，$ k(r,n) \lesssim 11.7r[1.5 + \log(n/r)] $，对于傅里叶测量，$ k(r,n) = O(r\log n \cdot \log^2 r \cdot \log(r\log n)) $，利用几何泛函分析和随机矩阵理论的工具，实现了在对数因子范围内的最优量级缩放。

ABSTRACT

We want to exactly reconstruct a sparse signal f (a vector in R^n of small support) from few linear measurements of f (inner products with some fixed vectors). A nice and intuitive reconstruction by Linear Programming has been advocated since 80-ies by Dave Donoho and his collaborators. Namely, one can relax the reconstruction problem, which is highly nonconvex, to a convex problem -- and, moreover, to a linear program. However, when is exactly the reconstruction problem equivalent to its convex relaxation is an open question. Recent work of many authors shows that the number of measurements k(r,n) needed to exactly reconstruct any r-sparse signal f of length n (a vector in R^n of support r) from its linear measurements with the convex relaxation method is usually O(r polylog(n)). However, known estimates of the number of measurements k(r,n) involve huge constants, in spite of very good performance of the algorithms in practice. In this paper, we consider random Gaussian measurements and random Fourier measurements (a frequency sample of f). For Gaussian measurements, we prove the first guarantees with reasonable constants: k(r,n) < 12 r (2 + log(n/r)), which is optimal up to constants. For Fourier measurements, we prove the best known bound k(r,n) = O(r log(n) . log^2(r) log(r log n)), which is optimal within the log log n and log^3 r factors. Our arguments are based on the technique of Geometric Functional Analysis and Probability in Banach spaces.

研究动机与目标

• 弥合稀疏恢复中凸松弛的理论界限与实际性能之间的差距。
• 为包括高斯和傅里叶测量在内的通用测量矩阵，首次提供具有合理常数的可证明紧致保证。
• 改进现有对精确重构 $ r $-稀疏信号（长度为 $ n $）所需测量数 $ k(r,n) $ 的界限。
• 为高斯和傅里叶测量模型，建立 $ k(r,n) $ 的最优量级缩放（对数因子范围内）。
• 应用 Banach 空间中的几何泛函分析与概率工具，推导出简洁透明的证明。

提出的方法

• 论文将限制等距性性质（RIP）作为非凸 $ \ell_0 $-最小化与凸 $ \ell_1 $-最小化问题等价性的充分条件。
• 应用 Gordon 的穿过网格定理，以界定随机子空间与 $ \ell_1 $-范数下降方向锥相交的概率。
• 通过 Hölder 不等式和 Stirling 公式，界定 $ \ell_1 $-范数下 $ r $-稀疏单位向量集合的高斯宽度。
• 定义了一个包含所有 $ r $-稀疏信号的通用锥，并证明其包含于 $ r $-稀疏单位向量凸包的缩放版本中。
• 通过度量熵与集中不等式，利用 $ \ell_1 $-范数锥的结构及其与随机子空间的相互作用来推进证明。
• 通过界定相关测量集合的高斯宽度，将分析扩展至高斯和非谐波傅里叶测量。

实验结果

研究问题

• RQ1 对于高斯测量，通过 $ \ell_1 $-最小化保证任意 $ r $-稀疏信号精确重构所需的最小测量数 $ k(r,n) $ 是多少？
• RQ2 傅里叶测量的理论保证能否改进以匹配实际性能，特别是常数合理化？
• RQ3 对于通用测量矩阵，$ k(r,n) $ 的最优量级缩放（对数因子范围内）是什么？
• RQ4 如何利用几何泛函分析工具，推导出稀疏集合高斯宽度的紧致界限？
• RQ5 能否以显式、非渐近的常数，高概率地验证随机傅里叶和高斯矩阵的限制等距性？

主要发现

• 对于高斯测量，论文建立了 $ k(r,n) \lesssim 11.7r[1.5 + \log(n/r)] $，其常数最优。
• 对于傅里叶测量，论文证明了 $ k(r,n) = O(r\log n \cdot \log^2 r \cdot \log(r\log n)) $，其在 $ \log\log n $ 和 $ \log^3 r $ 因子范围内最优。
• 结果通过新颖地应用 Gordon 的穿过网格定理，以界定子空间与 $ \ell_1 $-锥相交的概率而获得。
• 在 $ \ell_1 $-范数下，$ r $-稀疏向量集合的高斯宽度被界定为 $ w(D) \leq \sqrt{2r\log(e^{3/2}n/r)}(1+o(1)) $，这是分析的核心。
• 证明表明，$ \ell_1 $-最小化下降方向锥包含于半径为 $ \sqrt{2}+1 $ 倍的 $ r $-稀疏单位向量凸包的集合中。
• 作者通过利用高维概率与 Banach 空间几何的工具，实现了清晰简洁的证明，相较于先前常数较大的界限有显著改进。