[论文解读] Optimal lower bounds for locality sensitive hashing (except when q is tiny)

Ryan O’Donnell, Yi Wu+1 more|ArXiv.org|Dec 1, 2009

Advanced Image and Video Retrieval Techniques被引用 3

一句话总结

本文在标准假设下（即 $ q $ 远离零，非 $ 2^{-\Theta(d)} $），为汉明空间 $\{0,1\}^d$ 中的局部敏感哈希（LSH）建立了最优下界 $\rho \geq 1/c - o_d(1)$。证明基于布尔函数噪声稳定性的对数凸性，表明此前已知的下界 $\sim 0.46/c$ 并非最优，且 Indyk 和 Motwani 所提出的上界 $\rho \leq 1/c$ 在低阶项意义下是紧的。

ABSTRACT

We study lower bounds for Locality Sensitive Hashing (LSH) in the strongest setting: point sets in {0,1}^d under the Hamming distance. Recall that here H is said to be an (r, cr, p, q)-sensitive hash family if all pairs x, y in {0,1}^d with dist(x,y) at most r have probability at least p of collision under a randomly chosen h in H, whereas all pairs x, y in {0,1}^d with dist(x,y) at least cr have probability at most q of collision. Typically, one considers d tending to infinity, with c fixed and q bounded away from 0. For its applications to approximate nearest neighbor search in high dimensions, the quality of an LSH family H is governed by how small its "rho parameter" rho = ln(1/p)/ln(1/q) is as a function of the parameter c. The seminal paper of Indyk and Motwani showed that for each c, the extremely simple family H = {x -> x_i : i in d} achieves rho at most 1/c. The only known lower bound, due to Motwani, Naor, and Panigrahy, is that rho must be at least .46/c (minus o_d(1)). In this paper we show an optimal lower bound: rho must be at least 1/c (minus o_d(1)). This lower bound for Hamming space yields a lower bound of 1/c^2 for Euclidean space (or the unit sphere) and 1/c for the Jaccard distance on sets; both of these match known upper bounds. Our proof is simple; the essence is that the noise stability of a boolean function at e^{-t} is a log-convex function of t.

研究动机与目标

• 弥合汉明空间中 LSH 的已知上界 $\rho \leq 1/c$ 与先前下界 $\sim 0.46/c$ 之间的差距。
• 证明 Indyk 和 Motwani 提出的 $\rho \leq 1/c$ 边界在 $ q $ 远离零时渐近最优。
• 基于布尔函数噪声稳定性的对数凸性，提供一个简洁且概念清晰的证明。
• 明确 $ q $ 的取值范围，使得 $ \rho $ 能准确反映 LSH 的质量，排除 $ q $ 指数级小的平凡情况。

提出的方法

• 证明利用了布尔函数在 $ e^{-t} $ 处的噪声稳定性，表明其作为 $ t $ 的函数是严格对数凸的，这是下界论证的核心。
• 构造了一类哈希函数的概率分布，并分析了距离分别为 $ r $ 和 $ cr $ 的点对的碰撞概率，使用了集中不等式。
• 应用切尔诺夫不等式来估计尾部概率 $ e_1 $ 和 $ e_2 $，这些概率量化了与汉明权重相关的二项分布的偏差。
• 引入参数 $ \Delta $ 以控制误差项，并通过对 $ \Delta $ 的优化来最小化 $ \rho $ 下界中的总误差 $ e $。
• 证明在 $ q $ 不过小（即非 $ 2^{-\Theta(d)} $）的条件下成立，否则会导致 $ \rho = 0 $ 的平凡构造。
• 该结果被推广至欧几里得空间和 Jaccard 距离，分别得到 $ \rho \geq 1/c^2 $ 和 $ \rho \geq 1/c $，与已知上界一致。

实验结果

研究问题

• RQ1 汉明空间中 LSH 的 $ \rho \leq 1/c $ 上界是否紧致？是否可能获得更小的 $ \rho $？
• RQ2 先前的下界 $ \sim 0.46/c $ 是否可改进？若可，改进幅度如何？
• RQ3 当 $ q $ 极小时（如 $ 2^{-\Theta(d)} $），$ \rho $ 参数是否仍能准确反映 LSH 的质量？
• RQ4 能否基于噪声稳定性的性质，通过简洁且结构性的证明，确立 $ 1/c $ 边界的最优性？
• RQ5 对于 $ q $ 远离零的情况，$ \rho $ 的正确渐近下界在 $ c $ 的表达式中应为何种形式？

主要发现

• 本文在汉明距离下，为 $\{0,1\}^d$ 中的 LSH 建立了紧致的下界 $\rho \geq 1/c - o_d(1)$，与 Indyk 和 Motwani 的上界一致。
• 该下界在 $ q $ 不为指数级小时成立，即 $ q = 2^{-o(d)} $，此为 $ \rho $ 能有效衡量 LSH 质量的合理范围。
• 证明方法依赖于布尔函数噪声稳定性的对数凸性，是一种新颖且具有概念深度的 LSH 下界分析方法。
• 在欧几里得空间中，结果推出 $ \rho \geq 1/c^2 $，与已知上界一致，从而填补了差距。
• 在集合的 Jaccard 距离下，该边界给出 $ \rho \geq 1/c $，与已知上界完全匹配。
• 本文表明，先前的下界 $ \sim 0.46/c $ 并非最优，而 $ 1/c $ 才是 $ \rho $ 的正确渐近极限。