[论文解读] Nearly-optimal bounds for sparse recovery in generic norms, with applications to k-median sketching

Artūrs Bačkurs, Piotr Indyk+2 more|arXiv (Cornell University)|Jan 10, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用 8

一句话总结

本文通过将所需测量次数与 k-稀疏向量上范数度量的翻倍维数联系起来，建立了通用范数下稀疏恢复的近乎最优测量界。该研究提出了 Earth-Mover Distance 等范数的新颖且高效的压缩方案，并解决了 Frahling 和 Sohler（STOC'05）提出的关于动态流中 k-中位数聚类空间复杂度的开放问题。

ABSTRACT

We initiate the study of trade-offs between sparsity and the number of measurements in sparse recovery schemes for generic norms. Specifically for a norm ||·||, sparsity parameter k, approximation factor K > 0, and probability of failure P > 0, we ask: what is the minimal value of m so that there is a distribution over m × n matrices A with the property that for any x, given Ax, we can recover a k-sparse approximation to x in the given norm with probability at least 1 -- P? We give a partial answer to this problem, by showing that for norms that admit efficient linear sketches, the optimal number of measurements m is closely related to the doubling dimension of the metric induced by the norm ||·|| on the set of all k-sparse vectors. By applying our result to specific norms, we cast known measurement bounds in our general framework (for the ep norms, p ∈ [1, 2]) as well as provide new, measurement-efficient schemes (for the Earth-Mover Distance norm). The latter result directly implies more succinct linear sketches for the well-studied planar k-median clustering problem. Finally our lower bound for the doubling dimension of the EMD norm enables us to resolve the open question of [Frahling-Sohler, STOC'05] about the space complexity of clustering problems in the dynamic streaming model.

研究动机与目标

• 理解在任意范数下，稀疏恢复中稀疏性与测量复杂度之间的权衡。
• 表征在给定范数下，以失败概率 P 实现可靠 k-稀疏逼近所需的最小测量次数 m。
• 将该框架应用于特定范数（包括 p ∈ [1,2] 的 ℓp 范数和 Earth-Mover Distance (EMD)），推导出新的测量高效方案。
• 解决 Frahling 和 Sohler（STOC'05）提出的关于动态流中 k-中位数聚类空间复杂度的开放问题。

提出的方法

• 在通用范数 ||·|| 下定义稀疏恢复问题，目标是从 m 个线性测量 Ax 中恢复 x 的 k-稀疏逼近。
• 建立最优测量次数 m 与范数 ||·|| 在 k-稀疏向量集合上诱导的度量的翻倍维数之间的联系。
• 利用具有高效线性压缩的范数可使翻倍维数作为测量复杂度的代理这一性质。
• 将该框架应用于已知范数（例如 p ∈ [1,2] 的 ℓp 范数）以恢复现有边界，验证方法的有效性。
• 分析 EMD 范数，推导出用于 k-中位数聚类的新颖、测量高效的压缩方案。
• 建立 EMD 范数翻倍维数的下界，以证明测量边界的紧致性，并解决动态流复杂度问题。

实验结果

研究问题

• RQ1 在 k-稀疏逼近和失败概率 P 下，通用范数中稀疏恢复所需的最小测量次数 m 是多少？
• RQ2 该范数在 k-稀疏向量上的度量的翻倍维数与最优测量复杂度之间有何关系？
• RQ3 该框架能否为 Earth-Mover Distance 等范数生成新的、更高效的压缩方案？
• RQ4 所推导的边界是否解决了关于动态流中 k-中位数聚类空间复杂度的开放问题？
• RQ5 现有针对 ℓp 范数的稀疏恢复边界在多大程度上可纳入此一般框架？

主要发现

• 在范数 ||·|| 下，稀疏恢复的最优测量次数 m 被该范数在 k-稀疏向量上的度量的翻倍维数紧密表征。
• 对于可实现高效线性压缩的范数，测量复杂度在渐近意义上由 k-稀疏子空间的翻倍维数决定。
• 该框架恢复了 p ∈ [1,2] 的 ℓp 范数的已知测量边界，验证了其通用性与准确性。
• 为 Earth-Mover Distance (EMD) 范数开发了一种新的、测量高效的压缩方案，使平面 k-中位数聚类的线性压缩更加紧凑。
• 建立了 EMD 范数翻倍维数的下界，直接解决了 Frahling 和 Sohler（STOC'05）提出的关于动态流中 k-中位数聚类空间复杂度的开放问题。
• 结果表明，动态流中 k-中位数聚类的空间复杂度被 EMD 度量在 k-稀疏向量上的翻倍维数紧密界定。