[论文解读] Near Optimal Signal Recovery From Random Projections: Universal Encoding Strategies?

Emmanuel J. Candès, Terence Tao|ArXiv.org|Oct 25, 2004

Sparse and Compressive Sensing Techniques参考文献 39被引用 60

一句话总结

本文证明，通过使用 ℓ₁-最小化，可以从少量随机线性测量中以接近最优的精度恢复稀疏或可压缩信号。对于系数呈幂律衰减的信号，恢复误差以 (K/log N)^{−r} 的速率衰减，其中 r = 1/p − 1/2，其性能在对数因子范围内达到最优。

ABSTRACT

Suppose we are given a vector $f$ in $\R^N$. How many linear measurements do we need to make about $f$ to be able to recover $f$ to within precision $ε$ in the Euclidean ($\ell_2$) metric? Or more exactly, suppose we are interested in a class ${\cal F}$ of such objects--discrete digital signals, images, etc; how many linear measurements do we need to recover objects from this class to within accuracy $ε$? This paper shows that if the objects of interest are sparse or compressible in the sense that the reordered entries of a signal $f \in {\cal F}$ decay like a power-law (or if the coefficient sequence of $f$ in a fixed basis decays like a power-law), then it is possible to reconstruct $f$ to within very high accuracy from a small number of random measurements.

研究动机与目标

• 确定为从 ℝ^N 中的类 𝓕 ⊂ ℝ^N 信号恢复至 ℓ₂-误差 ϵ 所需的最少随机线性测量数量。
• 研究当信号在固定基下稀疏或可压缩时，随机投影是否能够实现精确的信号重构。
• 证明 ℓ₁-最小化是一种通用且实用的恢复策略，可实现接近最优的误差界。
• 分析在稀疏性约束下，特定随机测量集合（特别是高斯和傅里叶基采样）的性能。
• 证明恢复误差在对数因子范围内达到最优，表明任何大小为 K 的测量集合均无法实现更优的精度。

提出的方法

• 使用 i.i.d. 标准正态分布条目构成的随机高斯测量向量 Xₖ ∈ ℝ^N 对信号 f 进行采样，采样结果为 yₖ = ⟨f, Xₖ⟩。
• 采用 ℓ₁-最小化作为恢复算法：f♯ = argmin ‖g‖_ℓ₁，满足对所有 k 有 yₖ = ⟨g, Xₖ⟩。
• 通过测度集中现象和随机矩阵理论（特别是奇异值与高斯宽度估计）分析恢复误差。
• 应用受 Bourgain 启发的支持缩减技术，以控制 X-范数下稀疏集合的覆盖数。
• 推导出在 X-范数下 m-稀疏信号集合的熵界，从而得出最优误差率。
• 证明恢复误差依赖于稀疏性结构，其衰减率满足 |f|_(n) ≤ R·n^{−1/p}，其中 0 < p < 1。

实验结果

研究问题

• RQ1 能否从少量随机线性测量中准确恢复系数幅度呈幂律衰减的信号？
• RQ2 ℓ₁-最小化是否是随机投影下可压缩信号的通用且最优的恢复策略？
• RQ3 对于 K 个随机测量，恢复精度的根本极限是什么？是否存在任何算法可达到该极限？
• RQ4 在信号恢复性能方面，高斯与傅里叶随机测量集合之间有何差异？
• RQ5 恢复误差在多大程度上依赖于稀疏性结构，特别是系数衰减模型中的衰减指数 p？

主要发现

• 对于满足 |f|_(n) ≤ R·n^{−1/p}（0 < p < 1）的信号，ℓ₁-最小化可将 f 的 ℓ₂-误差控制在 ≤ Cₚ·R·(K/log N)^{−r} 以内，其中 r = 1/p − 1/2。
• 恢复误差界在对数因子范围内达到最优；一般而言，任何 K 个测量集合均无法实现更优的精度。
• 以高概率可实现对稀疏信号（p = 0）的精确恢复，当 |T| ≤ α·(K/log N) 且 α > 0 较小时成立。
• 该结果可推广至其他随机测量集合（如随机采样的傅里叶系数），在测量矩阵满足较弱条件时成立。
• 在 X-范数下，m-稀疏信号集合的熵界为 O(m·log N)（当 r 较小时），以及 O(m·(log N)^2)（当 r 较大时），从而实现紧密的误差估计。
• 分析依赖于测度集中现象、高斯宽度以及支持缩减论证，以控制高维空间中的覆盖数。