[论文解读] Sample-Optimal Fourier Sampling in Any Constant Dimension -- Part I

Piotr Indyk, Michael Kapralov|arXiv (Cornell University)|Mar 23, 2014

Sparse and Compressive Sensing Techniques参考文献 37被引用 5

一句话总结

该论文提出了首个在任意常数维度 $d$ 下针对傅里叶测量的 $ε$-近似 $τ$-稀疏恢复的样本最优算法，实现了 $O_d(k\log N)$ 个样本和 $\tilde{O}(N)$ 的运行时间。其样本复杂度与已知的 $\Omega(k\log(N/k))$ 下界相比，仅相差常数因子，为一维和高维信号均提供了最优的样本复杂度和强大的理论保证。

ABSTRACT

We give an algorithm for $\ell_2/\ell_2$ sparse recovery from Fourier measurements using $O(k\log N)$ samples, matching the lower bound of \cite{DIPW} for non-adaptive algorithms up to constant factors for any $k\leq N^{1-δ}$. The algorithm runs in $ ilde O(N)$ time. Our algorithm extends to higher dimensions, leading to sample complexity of $O_d(k\log N)$, which is optimal up to constant factors for any $d=O(1)$. These are the first sample optimal algorithms for these problems. A preliminary experimental evaluation indicates that our algorithm has empirical sampling complexity comparable to that of other recovery methods known in the literature, while providing strong provable guarantees on the recovery quality.

研究动机与目标

• 为非自适应、样本最优的傅里叶稀疏恢复在任意常数维度下的已知上下界之间存在的差距提供填补。
• 设计一种算法，实现 $\ell_2/\ell_2$ 稀疏恢复的 $O(k\log N)$ 样本复杂度，与 [DIPW10] 的下界相差常数因子。
• 将样本最优恢复扩展至高维（$d=O(1)$），实现 $O_d(k\log N)$ 的样本复杂度。
• 提供一个可证明正确的算法，具有近线性运行时间（$\tilde{O}(N)$）和强大的实验性能。

提出的方法

• 该算法使用一种新颖的滤波技术，基于支持长度为 $B = k+1$ 的矩形窗滤波器，以隔离显著的频率分量。
• 在 LocateAndEstimate 子程序中，采用几何序列的阈值（1.2 的幂次）来迭代识别并估计大系数。
• 该方法依赖于一种递归采样策略，自适应地聚焦于能量较高的区域，从而在每一步减少有效信号大小。
• 该算法在频域中运行，利用 $m = O(k\log N)$ 个傅里叶样本，恢复出一个 $k$-稀疏近似 $x'$，满足 $\|x - x'\|_2 \leq C \cdot \min_{k\text{-稀疏 }y} \|x - y\|_2$。
• 对于高维情况，通过归约到一维情形进行推广，保持了 $O_d(k\log N)$ 的样本复杂度。
• 运行时间为 $\tilde{O}(N)$，通过高效的滤波和迭代估计实现，无需求解大规模线性规划问题。

实验结果

研究问题

• RQ1 在一维情况下，非自适应算法能否实现 $O(k\log N)$ 的样本复杂度，以实现 $\ell_2/\ell_2$ 稀疏恢复，从傅里叶测量中恢复？
• RQ2 能否将此类样本最优算法扩展至高维（$d=O(1)$），同时保持最优的样本复杂度？
• RQ3 此类算法能否在保证最优恢复误差的同时，实现近线性运行时间（$\tilde{O}(N)$）？
• RQ4 所提出的算法在样本复杂度和成功概率方面，与现有方法（如 $\ell_1$-最小化和 SSMP）相比，其实验性能如何？

主要发现

• 所提出的算法在一维情况下实现了 $O(k\log N)$ 的样本复杂度，与 [DIPW10] 的下界相差常数因子。
• 在高维情况下（$d=O(1)$），样本复杂度仍为 $O_d(k\log N)$，这在常数因子范围内是最优的。
• 该算法的运行时间为 $\tilde{O}(N)$，显著优于基于线性规划的方法（如 $\ell_1$-最小化）的 $O(N \times m)$ 运行时间。
• 实验结果表明，该算法的采样复杂度在 90% 成功率下仅比 $\ell_1$-最小化高约 2 倍，同时提供了更强的理论保证。
• 与 SSMP 相比，该算法在 90% 成功率下将采样效率提高了约 1.15 倍，尽管使用的是密集的傅里叶测量而非稀疏二值矩阵。
• 该算法在多次实验中均能以高概率成功恢复 $k$-稀疏信号的支撑集，展现出良好的鲁棒性和可扩展性。