[论文解读] Upper-bounding $\ell_1$-optimization weak thresholds

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 46被引用 10

一句话总结

本文通过推导与[49]中先前的下界精确匹配的紧致上界，确立了在 i.i.d. 高斯测量矩阵下，从欠定线性系统中恢复稀疏解时 ℓ₁-优化的精确弱阈值。通过证明此前猜想的阈值为最优，完成了对线性 regime 中 ℓ₁-优化性能的完整表征。

ABSTRACT

In our recent work \cite{StojnicCSetam09} we considered solving under-determined systems of linear equations with sparse solutions. In a large dimensional and statistical context we proved that if the number of equations in the system is proportional to the length of the unknown vector then there is a sparsity (number of non-zero elements of the unknown vector) also proportional to the length of the unknown vector such that a polynomial $\ell_1$-optimization technique succeeds in solving the system. We provided lower bounds on the proportionality constants that are in a solid numerical agreement with what one can observe through numerical experiments. Here we create a mechanism that can be used to derive the upper bounds on the proportionality constants. Moreover, the upper bounds obtained through such a mechanism match the lower bounds from \cite{StojnicCSetam09} and ultimately make the latter ones optimal.

研究动机与目标

• 填补先前推导的下界与 ℓ₁-优化在稀疏恢复中真实弱阈值之间的差距。
• 为线性 regime（m = αn，k = βn）中弱阈值的上界推导建立严格的机制。
• 证明[49]中的下界不仅可实现，而且最优，从而确立精确的弱阈值。
• 通过展示与[17, 18]结果的等价性，统一概率方法与几何方法对 ℓ₁-优化性能分析。

提出的方法

• 推导出一个隐式表征方程（76），该方程定义了非负稀疏向量弱阈值的上界。
• 基于高斯宽度与测度集中性理论的概率框架，分析 ℓ₁-最小化可行性。
• 采用[49]中用于下界推导的机制，但将其扩展以获得互补的上界。
• 利用限制等距性质（RIP）及高维极限下的渐近分析，表征恢复性能。
• 将本机制所得的上界与[49]中的下界进行匹配，证明其最优性。
• 通过与[17, 18]的数值结果对比，验证理论阈值，确认完全一致。

实验结果

研究问题

• RQ1 当 m = αn 且 A 具有 i.i.d. 标准正态分布条目时，ℓ₁-优化在恢复 k-稀疏向量时的精确弱阈值 β 是多少？
• RQ2 能否通过上界推导机制，证明[49]中先前推导的弱阈值下界是紧致的？
• RQ3 在 ℓ₁-优化性能背景下，[49]中的概率界与[17]中的几何表征之间有何关系？
• RQ4 在统一的理论框架下，ℓ₁-优化性能在线性 regime 中能在多大程度上被精确表征？
• RQ5 本文所开发的机制能否推广至标准稀疏恢复之外的其他结构化恢复问题？

主要发现

• 本文推导的上界与[49]中的下界完全匹配，证明此前猜想的阈值为最优。
• 基本表征方程（76）提供了在稀疏向量先验已知为非负时，ℓ₁-优化的精确弱阈值。
• 本文开发的机制表明，弱阈值 β_w^+ 是 ℓ₁-优化以高概率成功恢复的稀疏度水平的上确界。
• 当 α > α_w^+ 时，ℓ₁-优化以高概率恢复真实的非负 k-稀疏解。
• 当 α < α_w^+ 时，存在以高概率无法被 ℓ₁-优化恢复的非负 k-稀疏解。
• 通过概率分析推导的理论阈值与[17, 18]的数值结果完全一致，证实了表征的精确性。