[论文解读] Shannon Theoretic Limits on Noisy Compressive Sampling

Mehmet Akçakaya, Vahid Tarokh|ArXiv.org|Nov 2, 2007

Sparse and Compressive Sensing Techniques参考文献 7被引用 18

一句话总结

本文建立了噪声压缩采样中稀疏信号的香农理论极限，表明在使用最优、信息论解码时，线性稀疏性区域（L = Θ(M)）下，O(L) 测量值既必要也充分以实现可靠恢复。在次线性稀疏性（L = o(M)）下，各种性能度量下均需 O(L log(M−L)) 测量值，揭示了理论极限与实际 L1 正则化方法之间的根本差距。

ABSTRACT

In this paper, we study the number of measurements required to recover a sparse signal in ${\mathbb C}^M$ with $L$ non-zero coefficients from compressed samples in the presence of noise. For a number of different recovery criteria, we prove that $O(L)$ (an asymptotically linear multiple of $L$) measurements are necessary and sufficient if $L$ grows linearly as a function of $M$. This improves on the existing literature that is mostly focused on variants of a specific recovery algorithm based on convex programming, for which $O(L\log(M-L))$ measurements are required. We also show that $O(L\log(M-L))$ measurements are required in the sublinear regime ($L = o(M)$).

研究动机与目标

• 确定从噪声压缩采样中恢复稀疏信号所需测量数目的基本极限。
• 分析在不同性能度量下，稀疏度 L、环境维数 M 和测量数 N 之间的权衡。
• 将理论极限与实际算法（如 L1 正则化（LASSO））进行比较，后者需 O(L log(M−L)) 测量值。
• 为多种误差度量（包括 0-1 损失、部分支持恢复和能量恢复）建立可实现性与相对性结果。
• 表明在某些性能度量下，信号能量 P 无需随 N 增大而增长，优于先前工作。

提出的方法

• 使用基于联合典型性的解码器对噪声压缩采样下的最优恢复进行建模，实现信息论分析。
• 分析三种性能度量：精确支持恢复（0-1 损失）、部分支持恢复（非零项的分数 α）和能量恢复（总能量的分数 1−γ）。
• 应用大偏差分析与熵界，推导每种度量下的可实现与相对性速率。
• 通过函数 f(z)、k(z)、d(z) 及相关对数表达式推导渐近界，以表征误差概率的行为。
• 同时考虑线性稀疏性（L = θ(M)）与次线性稀疏性（L = o(M)）区域。
• 通过反证法与基于熵的界建立相对性结果，表明测量不足将导致恢复不可靠。

实验结果

研究问题

• RQ1 从噪声压缩采样中可靠恢复具有 L 个非零系数的稀疏信号，所需的最小测量数 N 是多少？
• RQ2 不同性能度量（精确支持恢复、部分支持恢复和能量恢复）如何影响所需测量数？
• RQ3 在最优解码下，线性稀疏性区域（L = θ(M)）中，O(L) 测量值是否足以实现可靠恢复？
• RQ4 信息论极限与实际 L1 正则化方法（如 LASSO）在测量需求方面存在多大根本差距？
• RQ5 在不同性能度量下，可靠恢复是否需要总信号能量 P 随 N 增大而增长？

主要发现

• 在线性稀疏性区域（L = θ(M)）下，使用最优、信息论解码器时，O(L) 测量值既必要也充分以实现可靠恢复。
• 在次线性稀疏性区域（L = o(M)）下，所有考虑的性能度量下均需 O(L log(M−L)) 测量值以实现可靠恢复。
• 对于误差度量 1（0-1 损失），若 N ≺ C′₁ L log(M−L)，其中常数 C′₁ 依赖于 μ(x) 和 ν，则无法实现可靠恢复。
• 对于误差度量 2（部分支持恢复），若 N ≻ C′₃ L log(M−L) 且 P 为常数，则可实现可靠恢复，其中 C′₃ 依赖于 α、μ(x) 和 ν。
• 对于误差度量 3（能量恢复），若 P 为常数且 N ≻ C′₅ L log(M−L)，则可实现可靠恢复，其中 C′₅ 依赖于 γ、P 和 ν。
• 相对性结果表明，当 P 为常数且 L = o(M) 时，所有度量下 O(L log(M−L)) 均为可靠恢复所必需，表明实际算法（如 LASSO）存在根本限制。