[论文解读] Reconstruction from anisotropic random measurements

Mark Rudelson, Shuheng Zhou|arXiv (Cornell University)|Jun 6, 2011

Sparse and Compressive Sensing Techniques参考文献 23被引用 22

一句话总结

本文通过引入一种将受限等距性验证简化至低维子空间的约化原理，首次在具有依赖性条目的随机矩阵（特别是亚高斯行和有界条目）上建立了受限特征值（RE）条件。关键贡献在于证明了对于广泛类别的非各向同性随机矩阵，RE条件以高概率成立，从而在各向同性假设失效时，仍能通过ℓ₁最小化实现鲁棒的稀疏恢复。

ABSTRACT

Random matrices are widely used in sparse recovery problems, and the relevant properties of matrices with i.i.d. entries are well understood. The current paper discusses the recently introduced Restricted Eigenvalue (RE) condition, which is among the most general assumptions on the matrix, guaranteeing recovery. We prove a reduction principle showing that the RE condition can be guaranteed by checking the restricted isometry on a certain family of low-dimensional subspaces. This principle allows us to establish the RE condition for several broad classes of random matrices with dependent entries, including random matrices with subgaussian rows and non-trivial covariance structure, as well as matrices with independent rows, and uniformly bounded entries.

研究动机与目标

• 将稀疏恢复保证推广至具有依赖条目和非各向同性结构的随机矩阵，其中传统各向同性假设不成立。
• 确立受限特征值（RE）条件作为高维稀疏恢复中ℓ₁最小化的通用且最小化要求。
• 提出一种约化原理，通过在低维子空间上验证受限等距性来检验RE条件，从而简化对复杂矩阵集合的验证。
• 证明对于具有非平凡协方差和有界条目的亚高斯随机矩阵，RE条件以高概率成立，从而拓展其在统计学与信号处理中的适用性。

提出的方法

• 提出约化原理：若在由稀疏支撑定义的一族低维子空间上验证了受限等距性，则RE条件成立。
• 利用度量熵和覆盖数估计，控制与RE条件相关的Rademacher混沌过程的期望上确界。
• 应用泛化链和高斯过程技术，控制与设计矩阵相关的二次型的尾部行为。
• 采用体积和度量熵方法，估计高维空间中单位球面并集的覆盖数。
• 推导最小稀疏奇异值ρ的概率界，以量化在非各向同性设计下RE条件的强度。
• 改编Rudelson与Vershynin（2008）的技术，以处理随机矩阵中非各向同性且具有依赖性的行结构。

实验结果

研究问题

• RQ1 能否为具有依赖条目和非平凡协方差结构的随机矩阵保证受限特征值条件？
• RQ2 是否可以通过在低维子空间上检查受限等距性，而非在整个矩阵上，来验证RE条件？
• RQ3 为使非各向同性随机矩阵的RE条件以高概率成立，所需的最小样本量n是多少？
• RQ4 在非各向同性设置下，最小稀疏奇异值ρ如何影响RE条件的紧致性？
• RQ5 RE条件在多大程度上推广了高维稀疏恢复中的统一不确定性原理（UUP）？

主要发现

• 对于具有亚高斯行和非平凡协方差的随机矩阵，若样本量满足 n ≥ Cρ⁻¹m log(p/m)，则RE条件以高概率成立，其中m为稀疏度。
• 约化原理允许通过检查O(p^m)个低维子空间上的受限等距性来验证RE条件，显著简化了分析。
• 对于具有独立且有界条目的矩阵，当n ≳ m log p时，RE条件以高概率成立，与各向同性假设下的已知界一致。
• 证明了Rademacher混沌过程期望上确界的界为O(√(mQ² log n log p / ρ))，其中Q为行范数的统一上界。
• 论文表明，对最小稀疏奇异值ρ的依赖是必要的，通过一个ρ = m/p的紧致示例表明，此时需要n ≥ Cp log p。
• 所导出的界在对数因子范围内是紧致的，这一点通过使用分块对角Walsh矩阵的构造得到验证，其结果与下界一致。