[论文解读] Near-Optimal Bounds for Binary Embeddings of Arbitrary Sets

Samet Oymak, Ben Recht|arXiv (Cornell University)|Dec 14, 2015

Sparse and Compressive Sensing Techniques参考文献 20被引用 24

一句话总结

本文针对任意集合在哈密顿立方体上的二值嵌入，利用高斯随机矩阵建立了近似最优的样本复杂度界。研究表明，对于子空间和稀疏向量等结构化集合，$ m \sim \delta^{-2} \omega^2(K) $ 个样本已足够，其失真-复杂度权衡与线性嵌入相同；对于一般集合，相比先前的 $ \delta^{-6} $ 界，失真依赖关系提升至 $ \delta^{-4} $。

ABSTRACT

We study embedding a subset $K$ of the unit sphere to the Hamming cube $\{-1,+1\}^m$. We characterize the tradeoff between distortion and sample complexity $m$ in terms of the Gaussian width $ω(K)$ of the set. For subspaces and several structured sets we show that Gaussian maps provide the optimal tradeoff $m\sim δ^{-2}ω^2(K)$, in particular for $δ$ distortion one needs $m\approxδ^{-2}{d}$ where $d$ is the subspace dimension. For general sets, we provide sharp characterizations which reduces to $m\approx{δ^{-4}}{ω^2(K)}$ after simplification. We provide improved results for local embedding of points that are in close proximity of each other which is related to locality sensitive hashing. We also discuss faster binary embedding where one takes advantage of an initial sketching procedure based on Fast Johnson-Lindenstauss Transform. Finally, we list several numerical observations and discuss open problems.

研究动机与目标

• 为填补二值嵌入已知界与最优线性嵌入性能之间的差距，特别是失真依赖方面。
• 刻画将集合 $ K \subset \mathbb{S}^{n-1} $ 嵌入哈密顿立方体 $ \{-1,+1\}^m $ 所需的最小样本复杂度 $ m $，以实现 $ \delta $-失真。
• 将现有结果从有限点集扩展至连续的任意集合，使用高斯宽度 $ \omega(K) $ 等几何测度。
• 分析二值嵌入的局部敏感性特性，并改进邻近点对的界。
• 研究快速二值嵌入（如 FJLT 和稀疏矩阵）的性能，并与标准高斯映射进行比较。

提出的方法

• 使用高斯宽度 $ \omega(K) = \mathbb{E}_{\bm{g} \sim \mathcal{N}(0,\mathbf{I}_n)}[\sup_{\bm{v} \in K} \bm{g}^T \bm{v}] $ 作为集合复杂度的度量。
• 应用浓度不等式和覆盖论证，以界定向量间哈密顿距离与测地距离偏差的上确界。
• 通过均值宽度与局部均值宽度的结合推导界，尤其适用于具有几何结构的集合。
• 引入基于快速约翰逊-林登斯特拉（FJLT）变换的压缩框架，以加速计算同时保持嵌入质量。
• 采用归一化失真度量，以公平比较二值嵌入与线性嵌入，尤其在数值实验中。
• 通过在子空间和稀疏集合上的数值模拟，验证理论界，并比较不同矩阵类型（高斯、稀疏、FJLT）的性能。

实验结果

研究问题

• RQ1 对于任意集合 $ K \subset \mathbb{S}^{n-1} $，实现 $ \delta $-失真的二值嵌入所需最优样本复杂度 $ m $ 是多少？
• RQ2 二值嵌入能否在子空间和稀疏向量等结构化集合上实现与线性嵌入相同的 $ \delta^{-2} $ 失真依赖？
• RQ3 对于一般集合，失真依赖关系如何变化？能否在先前的 $ \delta^{-6} $ 界基础上进一步改进？
• RQ4 与标准高斯映射相比，快速二值嵌入方法（如 FJLT、稀疏矩阵）的性能如何？
• RQ5 当对失真进行归一化以实现公平比较时，二值嵌入与线性嵌入的性能在多大程度上可比？

主要发现

• 对于子空间和结构化稀疏集合，本文建立了 $ m = \mathcal{O}(\delta^{-2} d) $ 个样本已足够，与最优线性嵌入界一致。
• 对于一般集合，本文推导出 $ m = \mathcal{O}(\delta^{-4} \omega^2(K)) $，相比先前的 $ \delta^{-6} $ 依赖关系有显著改进。
• 该界在 $ \delta $ 和 $ \omega(K) $ 方面均为紧致的，并在子空间和稀疏向量情况下退化为已知最优速率。
• 数值结果表明，二值嵌入的失真与归一化线性嵌入相当，无显著性能差距。
• 通过 FJLT 和稀疏高斯矩阵实现的快速二值嵌入在失真性能上几乎与标准高斯映射相当。
• 本研究识别出当前对快速二值嵌入理论理解的不足，将其列为未来研究的开放问题。