[论文解读] Sparse Recovery with Very Sparse Compressed Counting

Ping Li, Cun‐Hui Zhang+1 more|arXiv (Cornell University)|Dec 31, 2013

Sparse and Compressive Sensing Techniques参考文献 13被引用 4

一句话总结

本文提出了一种极稀疏压缩计数方法，用于非负稀疏信号恢复，其设计矩阵从最大偏斜的 $\alpha$-稳定分布中采样，并通过使 $(1-\gamma)$ 的条目为零来实现稀疏化。结果表明，当 $\gamma = 1/K$ 或 $2/K$ 时，分别仅需 $1.58K\log N/\delta$ 或 $1.16K\log N/\delta$ 个测量值，即可实现接近最优的样本复杂度，且矩阵高度稀疏。

ABSTRACT

Compressed sensing (sparse signal recovery) often encounters nonnegative data (e.g., images). Recently we developed the methodology of using (dense) Compressed Counting for recovering nonnegative K-sparse signals. In this paper, we adopt very sparse Compressed Counting for nonnegative signal recovery. Our design matrix is sampled from a maximally-skewed p-stable distribution (00, it suffices to use M= K/(1-exp(-gK) log N measurements, so that all coordinates can be recovered in one scan of the coordinates. If g = 1 (i.e., dense design), then M = K log N. If g= 1/K or 2/K (i.e., very sparse design), then M = 1.58K log N or M = 1.16K log N. This means the design matrix can be indeed very sparse at only a minor inflation of the sample complexity. Interestingly, as p->1, the required number of measurements is essentially M = 2.7K log N, provided g= 1/K. It turns out that this result is a general worst-case bound.

研究动机与目标

• 开发一种用于非负 $K$-稀疏信号的压缩感知方法，通过使用极稀疏设计矩阵来降低存储和计算成本。
• 分析在最大偏斜 $\alpha$-稳定分布下稀疏压缩计数的样本复杂度，特别是当 $\alpha \to 0^+$ 和 $\alpha \to 1^-$ 时的情况。
• 证明当 $\gamma = 1/K$ 或 $2/K$ 时，极稀疏设计矩阵相较于稠密设计仅带来微小的测量需求膨胀。
• 建立理论边界，确定为以概率 $1-\delta$ 恢复所有信号分量且误差在 $\epsilon$ 以内所需的测量数 $M$。

提出的方法

• 通过从最大偏斜的 $\alpha$-稳定分布 $S(\alpha,1,1)$ 中采样条目来构建设计矩阵，然后将其稀疏化，使得每个条目以概率 $1-\gamma$ 独立设为零。
• 通过 $y_j = \sum_{i=1}^N x_i [s_{ij} r_{ij}]$ 收集线性测量，其中 $r_{ij}$ 是参数为 $\gamma$ 的伯努利分布指示变量。
• 信号恢复估计器定义为 $\hat{x}_{i,\min,\gamma} = \min_{j \in T_i} \frac{y_j}{s_{ij} r_{ij}}$，其中 $T_i$ 是满足 $r_{ij} = 1$ 的索引集合。
• 理论分析使用误差概率 $\Pr(\hat{x}_{i,\min,\gamma} > x_i + \epsilon)$，并通过 $\alpha$-稳定分布的生存函数推导边界。
• 关键边界通过极限 $\alpha \to 0^+$ 推导，此时 $F_{0+}(t) = \frac{1}{1+1/t}$，并计算二项分布随机变量 $\eta_{ij}$ 的期望 $\mathbb{E}[1/(1+\eta_{ij})]$。
• 样本复杂度 $M$ 通过求解 $N \cdot \Pr(\hat{x}_{i,\min,\gamma} > x_i + \epsilon) \leq \delta$ 得到，当 $\alpha \to 0^+$ 时，$M = \frac{K}{1 - e^{-\gamma K}} \log N / \delta$。

实验结果

研究问题

• RQ1 是否可以使用极稀疏设计矩阵在压缩计数中实现非负稀疏信号恢复，且样本复杂度损失极小？
• RQ2 使用极稀疏压缩计数对 $K$-稀疏非负信号实现 $\epsilon$-加法恢复所需的理论样本复杂度 $M$ 是多少？
• RQ3 选择 $\gamma$（稀疏度水平）和 $\alpha$（稳定分布的偏斜度）如何影响所需测量数？
• RQ4 是否存在一个适用于不同 $\alpha$ 和 $\gamma$ 设置的通用最坏情况样本复杂度边界？
• RQ5 即使使用高度稀疏矩阵（如 $\gamma = 1/K$），该方法是否仍能实现接近最优的样本复杂度？

主要发现

• 当 $\alpha \to 0^+$ 时，所需测量数为 $M = \frac{K}{1 - e^{-\gamma K}} \log N / \delta$，当 $\gamma = 1$（稠密设计）时，该值简化为 $M = K \log N / \delta$。
• 当 $\gamma = 1/K$ 时，所需 $M$ 约为 $1.58K \log N / \delta$，仅比稠密情况高出约 58%。
• 当 $\gamma = 2/K$ 时，所需 $M$ 约为 $1.16K \log N / \delta$，仅比稠密情况高出约 16%。
• 当 $\alpha \to 1^-$ 时，若 $\gamma = 1/K$，所需 $M$ 渐近为 $eK \log N / \delta$，该结果被证明是通用最坏情况边界。
• 理论分析确认误差概率随 $M$ 指数衰减，且当 $\alpha \to 0^+$ 时，边界 $\Pr(\hat{x}_{i,\min,\gamma} > x_i + \epsilon) \leq \left[1 - \frac{1}{K+1}(1 - (1-\gamma)^{K+1})\right]^M$ 成立。
• 数值模拟表明，即使 $\alpha$ 较小（如 $\alpha = 0.05$）时也未出现显著数值不稳定性，但精度有限的设备可能需要使用更大的 $\alpha$。