[论文解读] Optimal Phase Transitions in Compressed Sensing

Yihong Wu, Sergio Verdú|arXiv (Cornell University)|Nov 29, 2011

Sparse and Compressive Sensing Techniques参考文献 58被引用 12

一句话总结

本文通过信息论框架，为独立同分布信号分布的压缩感知建立了最优相变阈值。它通过最优非线性与线性编码器，推导出测量速率与重构保真度之间的基本权衡，表明高斯感知矩阵可实现与最优非线性编码相同的相变阈值，并利用MMSE估计和Rényi信息维数，严格验证了弱噪声条件下基于副本的结论。

ABSTRACT

Compressed sensing deals with efficient recovery of analog signals from linear encodings. This paper presents a statistical study of compressed sensing by modeling the input signal as an i.i.d. process with known distribution. Three classes of encoders are considered, namely optimal nonlinear, optimal linear and random linear encoders. Focusing on optimal decoders, we investigate the fundamental tradeoff between measurement rate and reconstruction fidelity gauged by error probability and noise sensitivity in the absence and presence of measurement noise, respectively. The optimal phase transition threshold is determined as a functional of the input distribution and compared to suboptimal thresholds achieved by popular reconstruction algorithms. In particular, we show that Gaussian sensing matrices incur no penalty on the phase transition threshold with respect to optimal nonlinear encoding. Our results also provide a rigorous justification of previous results based on replica heuristics in the weak-noise regime.

研究动机与目标

• 确定在已知分布的独立同分布信号模型下，压缩感知中的基本相变阈值。
• 比较最优非线性、最优线性与随机线性编码器在性能极限上的差异。
• 表征在无噪声与有噪声条件下，测量速率与重构保真度之间的权衡。
• 利用MMSE估计与Rényi信息维数，严格验证弱噪声极限下基于副本的结论。

提出的方法

• 将输入信号建模为具有已知分布的独立同分布过程，包括具有稀疏性的混合模型。
• 分析最优解码器：无噪声情况下为Lipschitz连续，有噪声情况下为MMSE估计器。
• 利用Rényi信息维数与MMSE维数，将相变阈值表示为输入分布的泛函。
• 通过弱噪声极限下LASSO估计器的渐近分析，推导出噪声敏感度极限。
• 应用有界收敛定理与高斯尾部行为，评估MMSE表达式中的误差项。
• 建立在软阈值估计器中，对正则化参数λ与α进行优化的等价性。

实验结果

研究问题

• RQ1 对于具有已知分布的独立同分布信号，压缩感知中可实现完美信号恢复的最优测量速率阈值是多少？
• RQ2 最优非线性编码在相变性能上与最优线性编码和随机线性编码相比如何？
• RQ3 与最优非线性编码相比，使用高斯感知矩阵是否在相变阈值上带来性能损失？
• RQ4 在弱噪声极限下，LASSO估计器的渐近噪声敏感度是多少，其与输入分布有何关系？
• RQ5 能否利用信息论方法，严格证明基于副本的相变预测结果？

主要发现

• 最优相变阈值被确定为输入分布的泛函，具体通过Rényi信息维数实现。
• 高斯感知矩阵实现了与最优非线性编码器相同的相变阈值，未引入性能损失。
• 对于具有混合分布 $ P = (1- ho) ho_0 + \rho P_c $ 的独立同分布信号，相变阈值为 $ R_{\pm}(\gamma) $，其中 $ \gamma $ 为稀疏性参数。
• 在弱噪声极限下，LASSO估计器的渐近噪声敏感度为 $ \tilde{\xi}(X,R) = \frac{R_{\pm}(\gamma)}{R - R_{\pm}(\gamma)} $，适用于 $ R > R_{\pm}(\gamma) $。
• 该推导通过MMSE估计与收敛定理，严格验证了先前基于副本的结论在弱噪声极限下的正确性。
• 涉及 $ X' \sim Q $ 且 $ Q(\{0\}) = 0 $ 的项对误差的贡献为 $ o(\tau^2) $，证实主导贡献来自受噪声影响的区域。