[论文解读] Optimality of $\ell_2/\ell_1$-optimization block-length dependent thresholds

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 12被引用 3

一句话总结

本论文在 i.i.d. 高斯测量矩阵下，通过 $Â𝔵_2/\u00c2ÂÂÂ_1$-优化方法，精确确定了 $β$-块稀疏信号恢复的弱阈值，证明了先前工作 [39] 所推导的下界是紧致的，通过推导匹配的上界实现了这一目标。该结果对 i.i.d. 高斯测量矩阵下的块稀疏恢复性能提供了完整且最优的表征。

ABSTRACT

The recent work of \cite{CRT,DonohoPol} rigorously proved (in a large dimensional and statistical context) that if the number of equations (measurements in the compressed sensing terminology) in the system is proportional to the length of the unknown vector then there is a sparsity (number of non-zero elements of the unknown vector) also proportional to the length of the unknown vector such that $\ell_1$-optimization algorithm succeeds in solving the system. In more recent papers \cite{StojnicCSetamBlock09,StojnicICASSP09block,StojnicJSTSP09} we considered under-determined systems with the so-called extbf{block}-sparse solutions. In a large dimensional and statistical context in \cite{StojnicCSetamBlock09} we determined lower bounds on the values of allowable sparsity for any given number (proportional to the length of the unknown vector) of equations such that an $\ell_2/\ell_1$-optimization algorithm succeeds in solving the system. These lower bounds happened to be in a solid numerical agreement with what one can observe through numerical experiments. Here we derive the corresponding upper bounds. Moreover, the upper bounds that we obtain in this paper match the lower bounds from \cite{StojnicCSetamBlock09} and ultimately make them optimal.

研究动机与目标

• 填补先前推导的下界与 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-优化在块稀疏恢复中真实性能极限之间的差距。
• 推导块稀疏信号恢复弱阈值的上界，使其与 [39] 中的下界相匹配，从而确立最优性。
• 在 i.i.d. 高斯测量矩阵的线性 regime 下，提供 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-优化成功概率的完整理论表征。
• 将 [39] 的下界框架与新的上界机制统一，以实现精确阈值表征。

提出的方法

• 基于高维几何与测度集中原理的新型理论框架，推导 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-优化弱阈值的上界。
• 在大维数极限下，结合概率分析与渐近分析，表征成功与失败恢复之间的边界。
• 采用 [39] 中的下界框架，并通过新不等式与近似方法扩展，推导出匹配的上界。
• 应用反不完全伽马函数与卡方尾概率近似，建模高维下块范数的行为。
• 推导出定义弱阈值的方程组 (50) 与 (51)，其解为涉及块大小 $d$、稀疏度水平 $β_w$ 与测量比 $α$ 的不动点方程。
• 通过证明上界与下界完全重合，验证了边界的紧致性，从而表明阈值的最优性。

实验结果

研究问题

• RQ1 在 i.i.d. 高斯测量矩阵下，$ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-优化在恢复 $k$-块稀疏信号时的精确弱阈值是什么？
• RQ2 能否通过建立匹配的上界，证明先前推导的弱阈值下界是紧致的？
• RQ3 块大小 $d$ 如何影响线性 regime 下的最优恢复阈值？
• RQ4 与标准 $ÂÂÂÂ_1$-优化相比，块稀疏结构在多大程度上提升了恢复性能？

主要发现

• 本文推导的上界与 [39] 中的下界完全一致，证明了 $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-优化的弱阈值是最优的。
• 精确的弱阈值由方程组 (50) 与 (51) 的解表征，其依赖于块大小 $d$、归一化块稀疏度 $β_w$ 与测量比 $α$。
• 对于任意固定的 $d$，当系统参数满足 (50) 与 (51) 中的等式条件时，可实现最优阈值，确保恢复以高概率成功。
• 推导出的上界条件 (53) 定义了恢复以高概率失败的临界点，证实了阈值的锐利性。
• 结果表明，在块稀疏设置下，$ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-优化的性能从根本上受限于所推导的阈值，在相同假设下无法进一步改进。
• 理论边界与数值模拟之间的一致性，如 [39] 中先前观察到的那样，现已被严格证实为精确一致，而非近似。