[论文解读] Statistical Mechanical Analysis of Compressed Sensing Utilizing Correlated Compression Matrix

Koujin Takeda, Yoshiyuki Kabashima|arXiv (Cornell University)|Jan 25, 2010

Sparse and Compressive Sensing Techniques参考文献 7被引用 4

一句话总结

本文通过统计力学方法分析了使用柯特斯型相关压缩矩阵的 $L_1$-范数最小化压缩感知的重建极限。结果表明，扩展基之间的强一维相关性会轻微降低重建性能，使临界压缩率 $\alpha_c$ 相较于无相关情况增加约 1%。

ABSTRACT

We investigate a reconstruction limit of compressed sensing for a reconstruction scheme based on the L1-norm minimization utilizing a correlated compression matrix with a statistical mechanics method. We focus on the compression matrix modeled as the Kronecker-type random matrix studied in research on multi-input multi-output wireless communication systems. We found that strong one-dimensional correlations between expansion bases of original information slightly degrade reconstruction performance.

研究动机与目标

• 评估当压缩矩阵表现出相关性时 $L_1$-范数压缩感知的重建极限 $\alpha_c$。
• 将先前针对 i.i.d. 矩阵的分析扩展至受 MIMO 无线系统启发的结构化相关压缩矩阵。
• 研究通过 $\bm{R}_{\mathrm{t}}$ 描述的扩展基相关性对重建性能的影响。
• 通过数值实验和外推验证复制方法的结果。

提出的方法

• 采用统计力学中的复制方法计算 quenched 自由能，并推导出 $L_p$-范数重建的代价函数。
• 将压缩矩阵建模为 $\bm{F} = \sqrt{\bm{R}_{\mathrm{r}}}\bm{\Xi}\sqrt{\bm{R}_{\mathrm{t}}}$，其中 $\bm{\Xi}$ 为 i.i.d. 高斯矩阵，$\bm{R}_{\mathrm{t}}$ 和 $\bm{R}_{\mathrm{r}}$ 为相关性矩阵。
• 在 $N, P \to \infty$ 的极限下进行渐近分析，固定 $\alpha = P/N$，重点关注 $L_1$-范数情况。
• 通过 100 个样本的数值积分来评估代价函数表达式中的多重积分。
• 通过 MATLAB 中的凸优化实验验证结果，并利用二次回归将 $\alpha_c$ 外推至 $N \to \infty$ 极限。

实验结果

研究问题

• RQ1 扩展基的相关性如何影响压缩感知中 $L_1$-范数的重建极限？
• RQ2 柯特斯型相关压缩矩阵的临界压缩率 $\alpha_c$ 是多少？
• RQ3 观测向量的相关性 ($\bm{R}_{\mathrm{r}}$) 是否显著影响重建性能？
• RQ4 相关与无相关压缩矩阵的重建极限有何比较？

主要发现

• 当三对角矩阵 $\bm{R}_{\mathrm{t}}$ 中的相关参数 $r$ 达到 0.5 时，重建极限 $\alpha_c$ 增加约 1%，表明性能下降。
• 当 $\rho = 0.5$ 时，临界压缩率从无相关情况下的 $\alpha_c \approx 0.8312$ 增加至强相关情况下的 $\alpha_c = 0.84057(14)$。
• 复制分析结果 $\alpha_c = 0.84057(14)$ 经数值实验验证，其外推结果为 $\alpha_c = 0.84017(28)$（$N \to \infty$ 时）。
• 描述观测向量相关性的相关矩阵 $\bm{R}_{\mathrm{r}}$ 不影响重建极限，因其可通过重定义 $\bm{\Xi}$ 被吸收。
• $L_1$-范数重建对弱相关性具有鲁棒性，但在扩展基中存在强一维相关性时表现出可测量的性能下降。
• 该分析框架可重新解释为描述具有未相关基的原始系数相关性，此时仍保持相同的临界压缩率。