[论文解读] Sparsity Lower Bounds for Dimensionality Reducing Maps

Jelani Nelson, Huy L. Nguyên|arXiv (Cornell University)|Nov 5, 2012

Sparse and Compressive Sensing Techniques参考文献 40被引用 4

一句话总结

该论文建立了维度压缩线性映射（包括Johnson-Lindenstrauss变换、受限等距性质（RIP）矩阵和无偏子空间嵌入）所需稀疏度的近似最优下界。证明了当 m = o(n / log(1/ε)) 时，稀疏JL矩阵每列需要 Ω(ε⁻¹ log n / log(1/ε)) 个非零元；而具有最优行数 m = O(k log(n/k)) 的RIP矩阵每列必须有 Ω(k log(n/k)) 个非零元，表明此类构造中稀疏性存在根本性限制。

ABSTRACT

We give near-tight lower bounds for the sparsity required in several dimensionality reducing linear maps. First, consider the JL lemma which states that for any set of n vectors in R there is a matrix A in R^{m x d} with m = O(eps^{-2}log n) such that mapping by A preserves pairwise Euclidean distances of these n vectors up to a 1 +/- eps factor. We show that there exists a set of n vectors such that any such matrix A with at most s non-zero entries per column must have s = Omega(eps^{-1}log n/log(1/eps)) as long as m < O(n/log(1/eps)). This bound improves the lower bound of Omega(min{eps^{-2}, eps^{-1}sqrt{log_m d}}) by [Dasgupta-Kumar-Sarlos, STOC 2010], which only held against the stronger property of distributional JL, and only against a certain restricted class of distributions. Meanwhile our lower bound is against the JL lemma itself, with no restrictions. Our lower bound matches the sparse Johnson-Lindenstrauss upper bound of [Kane-Nelson, SODA 2012] up to an O(log(1/eps)) factor. Next, we show that any m x n matrix with the k-restricted isometry property (RIP) with constant distortion must have at least Omega(klog(n/k)) non-zeroes per column if the number of the rows is the optimal value m = O(klog (n/k)), and if k < n/polylog n. This improves the previous lower bound of Omega(min{k, n/m}) by [Chandar, 2010] and shows that for virtually all k it is impossible to have a sparse RIP matrix with an optimal number of rows. Lastly, we show that any oblivious distribution over subspace embedding matrices with 1 non-zero per column and preserving all distances in a d dimensional-subspace up to a constant factor with constant probability must have at least Omega(d^2) rows. This matches one of the upper bounds in [Nelson-Nguyen, 2012] and shows the impossibility of obtaining the best of both of constructions in that work, namely 1 non-zero per column and Õ(d) rows.

研究动机与目标

• 理解大规模数据处理中维度压缩线性映射稀疏性的根本限制。
• 弥合稀疏Johnson-Lindenstrauss变换稀疏度已知上界与下界之间的差距。
• 证明在一般条件下，最优行数的RIP矩阵无法实现稀疏性。
• 解决无偏子空间嵌入中稀疏性与行数之间的权衡。
• 提供紧致界，排除在子空间嵌入中同时实现每列仅一个非零元和 Õ(d) 行的构造。

提出的方法

• 通过在 Rd 中构造一个包含 n 个向量的困难实例，使用概率方法证明Johnson-Lindenstrauss矩阵列稀疏度的下界。
• 基于网打包和覆盖数的论证，推导出具有最优行数的RIP矩阵的下界。
• 采用二阶矩方法和方差分析，界定稀疏矩阵保持 d 维子空间中向量 ℓ₂ 范数的概率。
• 利用Johnson-Lindenstrauss引理及其已知上界，推导出与对数因子一致的匹配下界。
• 分析OSNAP型分布——具有 i.i.d. entries 在 {0, ±1/√s} 中的矩阵——以建立稀疏性与行数之间的权衡。
• 利用 γ₂泛函和高斯宽度刻画向量集的复杂性，并推导出所需矩阵维数的界。

实验结果

研究问题

• RQ1 当行数 m 亚最优时，Johnson-Lindenstrauss矩阵每列至少需要多少非零元，才能以 1±ε 的畸变度保持两两距离？
• RQ2 具有最优行数 m = O(k log(n/k)) 的受限等距性质（RIP）矩阵能否对 k-稀疏向量实现常数列稀疏度？
• RQ3 能否构造一个每列仅含一个非零元且行数为 Õ(d) 的无偏子空间嵌入，以保持 d 维子空间中所有 ℓ₂ 范数？
• RQ4 在OSNAP型分布中，嵌入具有给定几何复杂度的向量集时，行数与列稀疏性之间的权衡是什么？
• RQ5 能否在不依赖Johnson-Lindenstrauss引理的黑箱应用的前提下，进一步提升维度压缩映射的稀疏性？

主要发现

• 对于Johnson-Lindenstrauss变换，若 m = o(n / log(1/ε))，任何保持两两距离畸变度 1±ε 的矩阵，每列必须至少有 Ω(ε⁻¹ log n / log(1/ε)) 个非零元。
• 该下界与Kane和Nelson（SODA 2012）的稀疏JL上界仅相差 O(log(1/ε)) 因子，从而确立了近似最优性。
• 对于具有最优行数 m = O(k log(n/k)) 的RIP矩阵，当 k < n / polylog n 时，列稀疏度必须为 Ω(k log(n/k))，表明在此参数范围内稀疏性不可能实现。
• 该RIP矩阵下界将Chandar（2010）的 Ω(min{k, n/m}) 提升至 Ω(k log(n/k))，表明在大多数 k 值下，具有最优行数的稀疏RIP矩阵无法存在。
• 对于每列仅含一个非零元的无偏子空间嵌入，为保持 d 维子空间中的距离，至少需要 Ω(d²) 行，从而排除了使用 Õ(d) 行和单位列稀疏度的构造。
• 本文证明，子空间嵌入中同时实现每列仅一个非零元和 Õ(d) 行是不可能的，从而解决了Nelson和Nguyen（2012）提出的一个关键开放问题。