[论文解读] Various thresholds for $\ell_1$-optimization in compressed sensing

Mihailo Stojnic|ArXiv.org|Jul 21, 2009

Sparse and Compressive Sensing Techniques参考文献 79被引用 77

一句话总结

本文针对压缩感知中 $Ø_1$-优化的 $β$-阈值提供了精细化的理论分析，结合随机矩阵理论与高斯过程不等式，推导出强阈值、弱阈值和截面阈值的下界。其性能边界与先前工作中最佳结果相当或更优，尤其在稀疏性 $k = \beta n$ 与测量数 $m = \alpha n$ 线性随 $n$ 增长的线性 regime 下表现突出。分析假设测量矩阵为 i.i.d. 标准高斯分布，并确立了在何种条件下 $Ø_1$-最小化能以高概率精确恢复 $k$-稀疏信号。

ABSTRACT

Recently, \cite{CRT,DonohoPol} theoretically analyzed the success of a polynomial $\ell_1$-optimization algorithm in solving an under-determined system of linear equations. In a large dimensional and statistical context \cite{CRT,DonohoPol} proved that if the number of equations (measurements in the compressed sensing terminology) in the system is proportional to the length of the unknown vector then there is a sparsity (number of non-zero elements of the unknown vector) also proportional to the length of the unknown vector such that $\ell_1$-optimization succeeds in solving the system. In this paper, we provide an alternative performance analysis of $\ell_1$-optimization and obtain the proportionality constants that in certain cases match or improve on the best currently known ones from \cite{DonohoPol,DT}.

研究动机与目标

• 为压缩感知中线性 regime 下的 $Ø_1$-优化提供新的理论性能分析。
• 推导强阈值、弱阈值与截面阈值的下界，以实现对 $k$-稀疏信号的精确恢复。
• 在先前工作中最佳阈值常数的基础上实现改进或匹配，特别是针对 [28, 29] 中的结果。
• 在测量矩阵 $A$ 的零空间在格拉斯曼流形上均匀分布的假设下，分析 $Ø_1$-优化的性能。
• 为未来扩展至近似稀疏信号、噪声测量以及 $\ell_q$-优化（$0 < q < 1$）奠定基础。

提出的方法

• 分析假设测量矩阵 $A$ 具有 i.i.d. 标准高斯分布条目，并利用零空间假设来建模矩阵核的格拉斯曼分布。
• 应用高维概率中的高级工具，特别是 [47] 的结果，后者又依赖于 [68, 20] 对球面上利普希茨函数尾部概率的估计。
• 通过分析零空间的几何结构以及 $Ø_1$-最小化问题的可行性，结合鞍点近似与误差函数恒等式，推导出阈值条件。
• 关键方程涉及包含反误差函数的超越方程，例如 $ (1-ε)(1-\beta_{w}^{+}) \frac{\sqrt{1/(2\pi)} e^{-(\text{erfinv}(2\frac{1-\theta_{w}^{+}}{1-\beta_{w}^{+}}-1))^{2}}}{\theta_{w}^{+}} - \sqrt{2} \text{erfinv}((2\frac{(1+\epsilon)(1-\theta_{w}^{+})}{1-\beta_{w}^{+}}-1)) = 0 $，该方程定义了弱阈值 $\theta_{w}^{+}$。
• 通过测度集中与等周不等式，理论推导出阈值，确保 $Ø_1$-问题的解与真实稀疏解以高概率一致。
• 该框架具有通用性，可扩展至噪声环境、近似稀疏信号以及 $\ell_q$-最小化（$0 < q < 1$）情形。

实验结果

研究问题

• RQ1 在压缩感知的线性 regime 下，$Ø_1$-优化的强阈值、弱阈值与截面阈值的精确下界是什么？
• RQ2 所推导的阈值与文献中最佳已知结果相比如何，特别是与 [28, 29] 中的结果比较？
• RQ3 该分析框架能否扩展以处理噪声测量或近似稀疏信号？
• RQ4 测量矩阵的零空间分布对恢复阈值有何影响？
• RQ5 结果能否适用于 $\ell_q$-优化（$0 < q < 1$）？

主要发现

• 本文通过涉及反误差函数的方程组，推导出弱阈值 $\theta_w^+$ 的新下界，该方程组确定了成功恢复的关键 $\alpha$ 与 $\beta$ 值。
• 对于符号向量情形，所推导的阈值结果在大部分参数范围内与 [29, 30] 一致，仅在 $\alpha \to 1$ 附近存在一个狭窄区域实现改进。
• 符号向量的强阈值结果虽已计算，但因复杂度过高且在多数情况下性能低于当前最先进水平，故未予包含。
• 分析表明，若 $\alpha$ 与 $\beta_w^+$ 满足一个涉及误差函数与指数项的特定不等式，则原始系统与 $Ø_1$-问题的解以高概率一致。
• 该框架具有通用性，可扩展用于分析噪声压缩感知、近似稀疏信号以及 $\ell_q$-优化（$0 < q < 1$）。
• 结果本身具有独立的数学兴趣，因其可应用于确定投影交叉单纯形、正单纯形与正卦限的邻接性阈值。