[论文解读] Support Recovery with Sparsely Sampled Free Random Matrices

Antonia M. Tulino, Giuseppe Caire+2 more|arXiv (Cornell University)|Aug 27, 2012

Sparse and Compressive Sensing Techniques参考文献 36被引用 8

一句话总结

本文研究了在稀疏采样自由随机矩阵下压缩感知中的支持恢复问题，将经典模型扩展至酉不变矩阵（如哈尓矩阵）。通过复制法与解耦原理，推导出最优与次优估计器在支持恢复误码率上的精确渐近性能极限，表明误码率取决于信噪比（SNR）、稀疏度 q 和采样率 p，并给出了互信息与 Lasso 及阈值线性 MMSE 估计器的均方误差等关键性能指标的闭式表达式。

ABSTRACT

Consider a Bernoulli-Gaussian complex $n$-vector whose components are $V_i = X_i B_i$, with $X_i \sim \Cc\Nc(0,\Pc_x)$ and binary $B_i$ mutually independent and iid across $i$. This random $q$-sparse vector is multiplied by a square random matrix $\Um$, and a randomly chosen subset, of average size $n p$, $p \in [0,1]$, of the resulting vector components is then observed in additive Gaussian noise. We extend the scope of conventional noisy compressive sampling models where $\Um$ is typically %A16 the identity or a matrix with iid components, to allow $\Um$ satisfying a certain freeness condition. This class of matrices encompasses Haar matrices and other unitarily invariant matrices. We use the replica method and the decoupling principle of Guo and Verdú, as well as a number of information theoretic bounds, to study the input-output mutual information and the support recovery error rate in the limit of $n o \infty$. We also extend the scope of the large deviation approach of Rangan, Fletcher and Goyal and characterize the performance of a class of estimators encompassing thresholded linear MMSE and $\ell_1$ relaxation.

研究动机与目标

• 将传统的噪声压缩感知模型从 i.i.d. 传感矩阵扩展至包含自由随机矩阵（如哈尓分布矩阵）的更广范围。
• 在大系统极限（n → ∞）下，刻画最优 MAP-SBS 与实际中次优估计器的渐近支持恢复误码率。
• 为 Lasso 与阈值线性 MMSE 估计器推导出互信息与估计误差的精确闭式表达式。
• 利用信息论工具（包括复制法与大偏差分析）建立一般自由随机矩阵集合的性能边界。

提出的方法

• 应用复制法计算伯努利-高斯信号通过稀疏采样自由随机矩阵观测时的渐近输入-输出互信息。
• 利用 Guo 与 Verdú 提出的解耦原理，分析一般估计器下估计误差的渐近行为。
• 通过在大 n 极限下信号与观测联合分布的分析，推导出渐近支持恢复误码率。
• 通过涉及高斯与瑞利型密度的精确积分，计算 Lasso 与阈值线性 MMSE 估计器的均方误差。
• 证明性能依赖于矩阵 R = U†A†AU 的谱测度，该测度与确定性矩阵无关。
• 通过求解涉及谱测度 Stieltjes 变换逆函数的积分，推导出率失真函数与误码率的闭式表达式。

实验结果

研究问题

• RQ1 当传感矩阵为自由随机矩阵而非 i.i.d. 时，支持恢复误码率的根本极限是什么？
• RQ2 在大系统极限下，阈值线性 MMSE 与 Lasso 估计器的性能与最优 MAP-SBS 估计器相比如何？
• RQ3 复制法与解耦原理能否在此广义模型中给出互信息与估计误差的精确渐近表达式？
• RQ4 矩阵结构（如哈尓分布或 i.i.d.）对支持恢复误码率有何影响？
• RQ5 SNR、稀疏度水平 q 与采样率 p 如何共同决定渐近情形下的可实现误码率？

主要发现

• 为自由随机矩阵推导出最优 MAP-SBS 估计器的渐近支持恢复误码率的闭式表达，表明其依赖于 SNR、q 与 p。
• 对于 i.i.d. 传感矩阵，互信息为 p log(1 + χ)，其中 χ = qPx，与经典结果一致。
• 对于哈尓分布矩阵，互信息以包含平方根与有理函数对数的复杂数学函数形式表达，依赖于 p、q 与 SNR。
• 通过在瑞利与高斯密度上的积分，推导出 Lasso 估计器的均方误差的闭式表达，显式依赖于正则化参数 ξ。
• 结果表明，阈值线性 MMSE 估计器的性能随 SNR 增加而下降，与既往关于线性方法次优性的发现一致。
• 分析证实，次优与最优估计器之间的性能差距随 SNR 增大而扩大，尤其在低稀疏度水平下更为显著。