[论文解读] Sequential Testing for Sparse Recovery

Matthew Malloy, Robert D. Nowak|arXiv (Cornell University)|Dec 8, 2012

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

该论文提出了一种用于稀疏信号恢复的实用序列采样方法——序列阈值法（Sequential Thresholding），通过仅需相对于稀疏度 $s$ 对数增长的测量次数，实现了渐近最优性，而非相对于维度 $n$。其测量复杂度达到了理论下界 $\log s / D(P_0\|P_1)$，显著降低了与非序列方法相比的样本复杂度。

ABSTRACT

This paper studies sequential methods for recovery of sparse signals in high dimensions. When compared to fixed sample size procedures, in the sparse setting, sequential methods can result in a large reduction in the number of samples needed for reliable signal support recovery. Starting with a lower bound, we show any coordinate-wise sequential sampling procedure fails in the high dimensional limit provided the average number of measurements per dimension is less then log s/D(P_0||P_1) where s is the level of sparsity and D(P_0||P_1) the Kullback-Leibler divergence between the underlying distributions. A series of Sequential Probability Ratio Tests (SPRT) which require complete knowledge of the underlying distributions is shown to achieve this bound. Motivated by real world experiments and recent work in adaptive sensing, we introduce a simple procedure termed Sequential Thresholding which can be implemented when the underlying testing problem satisfies a monotone likelihood ratio assumption. Sequential Thresholding guarantees exact support recovery provided the average number of measurements per dimension grows faster than log s/ D(P_0||P_1), achieving the lower bound. For comparison, we show any non-sequential procedure fails provided the number of measurements grows at a rate less than log n/D(P_1||P_0), where n is the total dimension of the problem.

研究动机与目标

• 建立高维稀疏信号问题中可靠支持恢复所需测量数目的基本极限。
• 设计一种实用的序列程序，无需完全掌握底层分布即可达到这些理论极限。
• 从测量效率角度，比较序列方法与非序列固定样本量方法的性能。
• 证明序列采样可将所需测量数从关于维度 $n$ 的对数降低为关于稀疏度 $s$ 的对数。
• 在单调似然比假设下验证序列阈值法的性能，该假设在现实世界检测问题中是常见条件。

提出的方法

• 提出一种坐标轴上的序列采样策略，其中每个索引的测量被基于先前观测结果自适应分配。
• 引入序列阈值法，该方法通过逐步增加样本量和阈值，迭代测试每个索引，以剔除非支持元素。
• 基于置信度阈值 $\gamma_k$ 和与 $\rho^2$ 及问题参数成比例的缩减预算 $m_k$ 设计停止规则。
• 采用动态步数 $K$，其规模为 $\log(1/\delta)/\log(1/(1-\rho))$，以确保族错误率控制。
• 应用切尔诺夫-斯坦因引理框架来界定误差概率并推导有限样本性能保证。
• 依赖单调似然比性质，以确保检验统计量的随机单调性，从而实现可靠的阈值处理。

实验结果

研究问题

• RQ1 在序列稀疏恢复中，精确支持恢复所需测量数目的基本下界是什么？
• RQ2 能否设计一种实用的序列程序，在不完全掌握分布 $P_0$ 和 $P_1$ 的情况下达到该下界？
• RQ3 在高维稀疏设置中，序列方法与非序列固定样本量方法的性能相比如何？
• RQ4 在何种条件下，序列阈值法能以高概率保证精确支持恢复？
• RQ5 可靠恢复所需的测量增长的渐近速率是多少？其依赖于稀疏度 $s$ 还是维度 $n$？

主要发现

• 若每个维度的平均测量数低于 $\log s / D(P_0\|P_1)$，任何坐标轴上的序列程序均无法实现精确支持恢复。
• 当 $m \geq (\log s + \log \delta^{-1} + \log 4)/c_n$ 时，序列阈值法可保证以误差概率 $\delta$ 实现精确支持恢复，其中 $c_n$ 在正则条件下趋近于 $D(P_0\|P_1)$。
• 当 $m / \log s > 1 / D(P_0\|P_1)$ 时，随着 $n \to \infty$，误差概率趋于零，证明了渐近最优性。
• 序列阈值法达到了信息论下界，因此在测量效率方面为一阶最优。
• 非序列程序要求 $m \geq \log n / D(P_1\|P_0)$，当 $s \ll n$ 时，该值远大于序列下界。
• 该方法在单调似然比假设下可实现，使其适用于许多现实世界检测问题，其中 $P_1$ 仅部分已知。