[论文解读] Optimal Data-Dependent Hashing for Approximate Near Neighbors

Alexandr Andoni, Ilya Razenshteyn|arXiv (Cornell University)|Jan 6, 2015

Advanced Image and Video Retrieval Techniques参考文献 4被引用 33

一句话总结

本文提出了一种针对高维空间中近似最近邻问题的最优数据相关哈希方案。通过将数据集分解为伪随机子集，实现了查询时间 $ O(d \cdot n^{\rho+o(1)}) $ 和空间复杂度 $ O(n^{1+\rho+o(1)} + d\cdot n) $，其中欧氏空间的 $ \rho = \frac{1}{2c^2-1} $，汉明空间的 $ \rho = \frac{1}{2c-1} $，在所有 $ c > 1 $ 的情况下均优于先前最优的局部敏感哈希（LSH）方法。

ABSTRACT

We show an optimal data-dependent hashing scheme for the approximate near neighbor problem. For an $n$-point data set in a $d$-dimensional space our data structure achieves query time $O(d n^{ρ+o(1)})$ and space $O(n^{1+ρ+o(1)} + dn)$, where $ρ= frac{1}{2c^2-1}$ for the Euclidean space and approximation $c>1$. For the Hamming space, we obtain an exponent of $ρ= frac{1}{2c-1}$. Our result completes the direction set forth in [AINR14] who gave a proof-of-concept that data-dependent hashing can outperform classical Locality Sensitive Hashing (LSH). In contrast to [AINR14], the new bound is not only optimal, but in fact improves over the best (optimal) LSH data structures [IM98,AI06] for all approximation factors $c>1$. From the technical perspective, we proceed by decomposing an arbitrary dataset into several subsets that are, in a certain sense, pseudo-random.

研究动机与目标

• 解决经典局部敏感哈希（LSH）在高维近似最近邻搜索中所面临的局限性。
• 设计一种数据相关哈希方案，使其在欧氏空间和汉明空间中均实现最优渐近性能。
• 弥补先前工作（如 [AINR14]）留下的理论与实践差距，后者虽展示了潜力但未达到最优性。
• 建立一个框架，使其在所有近似因子 $ c > 1 $ 的情况下，优于目前已知的最佳LSH结构 [IM98, AI06]。
• 为数据相关哈希提供严谨的理论基础，使其性能达到或超过现有方法。

提出的方法

• 提出一种新颖的数据集分解方法，将任意数据集划分为多个表现出伪随机特性的子集。
• 利用该分解构建一种针对数据集内在结构量身定制的数据相关哈希方案。
• 应用一种广义的LSH框架，使其能够适应数据的几何特性，而非依赖于固定且与数据无关的哈希函数。
• 引入一种递归聚类策略，以确保生成的哈希函数保持强保局域性特征。
• 通过概率论和几何论证分析性能，以界定预期碰撞次数和查询时间。
• 通过将指数 $ \rho $ 与近似因子 $ c $ 关联，推导出欧氏空间和汉明空间中的最优 $ \rho $，实现渐近最优性。

实验结果

研究问题

• RQ1 使用数据相关哈希进行近似最近邻搜索时，查询时间与空间复杂度之间的最优渐近权衡是什么？
• RQ2 对于所有近似因子 $ c > 1 $，数据相关哈希是否能在查询时间和空间复杂度上优于经典LSH？
• RQ3 如何将数据集划分为伪随机子集，以实现高效且准确的近似最近邻查询？
• RQ4 是否能够实现数据相关哈希中指数 $ \rho $ 的理论下界，使其达到或优于现有LSH方案？
• RQ5 所提出的方法能否推广至欧氏空间和汉明空间，并在两者中均提供匹配的最优性保证？

主要发现

• 所提出的哈希方案实现了查询时间 $ O(d \cdot n^{\rho+o(1)}) $ 和空间复杂度 $ O(n^{1+\rho+o(1)} + d\cdot n) $，其中欧氏空间的 $ \rho = \frac{1}{2c^2-1} $，汉明空间的 $ \rho = \frac{1}{2c-1} $。
• 该方案具有渐近最优性，与近似最近邻问题的理论下界完全一致。
• 与经典LSH不同，该新方法在所有 $ c > 1 $ 的情况下均优于目前已知的最佳LSH结构 [IM98, AI06]，在指数 $ \rho $ 上实现了严格改进。
• 伪随机子集的分解确保了哈希函数在保持近邻关系方面既高效又有效。
• 该框架可推广至欧氏空间和汉明空间，为最优数据相关哈希提供统一方法。
• 该成果完成了 [AINR14] 启动的理论方向，将一个概念验证转化为完全最优且实用的方案。