[论文解读] Restricted Isometry Random Variables: Probability Distributions, RIC Prediction and Phase Transition Analysis for Gaussian Encoders

Oliver James, Heung-No Lee|arXiv (Cornell University)|Oct 8, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用 5

一句话总结

本文引入受限等距随机变量（RIVs）以将压缩感知中高斯随机编码器的确定性受限等距常数（RIC）推广至随机变量框架。通过推导精确的概率分布——左RIV为威布尔分布，右RIV为耿贝尔分布，结果表明基于RIV的RIC预测优于基于特征值的方法，从而提升了压缩感知恢复性能的相变分析精度。

ABSTRACT

In this paper, we aim to generalize the notion of restricted isometry constant (RIC) in compressive sensing (CS) to restricted isometry random variable (RIV). Associated with a deterministic encoder there are two RICs, namely, the left and the right RIC. We show that these RICs can be generalized to a left RIV and a right RIV for an ensemble of random encoders. We derive the probability and the cumulative distribution functions of these RIVs for the most widely used i.i.d. Gaussian encoders. We also derive the asymptotic distributions of the RIVs and show that the distribution of the left RIV converges (in distribution) to the Weibull distribution, whereas that of the right RIV converges to the Gumbel distribution. By adopting the RIV framework, we bring to forefront that the current practice of using eigenvalues for RIC prediction can be improved. We show on the one hand that the eigenvalue-based approaches tend to overestimate the RICs. On the other hand, the RIV-based analysis yields precise estimates of the RICs. We also demonstrate that this precise estimation aids to improve the previous RIC-based phase transition analysis in CS.

研究动机与目标

• 将压缩感知中随机编码器的确定性受限等距常数（RIC）推广至随机变量框架。
• 推导i.i.d.高斯编码器模型下左RIV与右RIV的精确概率密度函数与累积分布函数。
• 通过用RIV-based统计估计替代基于特征值的近似，提升RIC预测的准确性。
• 利用从RIV分布中导出的更精确RIC估计，改进压缩感知中的相变分析。
• 建立RIV分布渐近收敛至已知极值分布（威布尔与耿贝尔）的性质。

提出的方法

• 将左RIV与右RIV定义为高斯随机矩阵中所有k稀疏列子集上受限等距常数的最小值与最大值所对应的随机变量。
• 推导i.i.d.高斯编码器下左RIV与右RIV的精确概率密度函数（PDF）与累积分布函数（CDF）。
• 分析当信号维度增大时RIV的渐近行为，证明其分别以分布收敛至威布尔与耿贝尔分布。
• 用基于RIV的预测替代传统的基于特征值的RIC估计，利用推导出的CDF与分位数，实现更精确的RIC边界估计。
• 通过引入基于RIV框架的改进RIC估计，重新评估并优化压缩感知中的标准相变曲线。
• 通过对比基于RIV的估计与基于特征值的近似，验证了RIV方法在RIC预测中的更高精度，揭示了后者存在系统性高估。

实验结果

研究问题

• RQ1 如何将压缩感知中随机编码器的确定性RIC概念推广至随机变量框架？
• RQ2 i.i.d.高斯随机编码器下左RIV与右RIV的精确概率分布为何？
• RQ3 RIV的渐近分布与已知极值分布相比如何？其收敛行为如何？
• RQ4 基于RIV的RIC预测是否在准确性上优于传统的基于特征值的估计方法？
• RQ5 通过RIV实现的改进RIC估计如何影响压缩感知中相变分析的准确性？

主要发现

• 随着信号维度增大，左RIV以分布收敛至威布尔分布，右RIV收敛至耿贝尔分布。
• RIV框架提供的RIC估计比基于特征值的方法更精确，后者存在系统性高估。
• 所推导的RIV分布可通过分位数估计实现对RIC的精确预测，优于启发式的特征值近似。
• 利用基于RIV的RIC估计，压缩感知中的相变分析得到优化，恢复阈值更清晰、更可靠。
• 针对i.i.d.高斯编码器，推导出RIV的精确PDF与CDF，使得无需蒙特卡洛采样即可对等距性质进行统计推断。
• 基于RIV的方法揭示了RIC被所推导的极值分布随机有界，从而提供了更紧致的理论保证。