[论文解读] Reverse Nearest Neighbors Search in High Dimensions using Locality-Sensitive Hashing

David Arthur, Steve Oudot|arXiv (Cornell University)|Nov 22, 2010

Advanced Image and Video Retrieval Techniques参考文献 31被引用 3

一句话总结

本文提出了一种在高维空间中使用局部敏感哈希（LSH）进行反向最近邻（RNN）搜索的可证明正确且高效的算法。该方法将RNN查询简化为一次ε-NN搜索和有限数量的穷举r-PLEB查询，实现亚线性查询时间，且时间复杂度依赖于RNN集合的大小和反映实例难度的条件数。

ABSTRACT

We investigate the problem of finding reverse nearest neighbors efficiently. Although provably good solutions exist for this problem in low or fixed dimensions, to this date the methods proposed in high dimensions are mostly heuristic. We introduce a method that is both provably correct and efficient in all dimensions, based on a reduction of the problem to one instance of $\e$-nearest neighbor search plus a controlled number of instances of {\em exhaustive $r$-\pleb}, a variant of {\em Point Location among Equal Balls} where all the $r$-balls centered at the data points that contain the query point are sought for, not just one. The former problem has been extensively studied and elegantly solved in high dimensions using Locality-Sensitive Hashing (LSH) techniques. By contrast, the latter problem has a complexity that is still not fully understood. We revisit the analysis of the LSH scheme for exhaustive $r$-\pleb using a somewhat refined notion of locality-sensitive family of hash function, which brings out a meaningful output-sensitive term in the complexity of the problem. Our analysis, combined with a non-isometric lifting of the data, enables us to answer exhaustive $r$-\pleb queries (and down the road reverse nearest neighbors queries) efficiently. Along the way, we obtain a simple algorithm for answering exact nearest neighbor queries, whose complexity is parametrized by some {\em condition number} measuring the inherent difficulty of a given instance of the problem.

研究动机与目标

• 为解决高维空间中反向最近邻（RNN）搜索缺乏理论基础且高效的解决方案的问题，现有方法大多依赖启发式方法。
• 克服RNN查询中的维度灾难问题，其固有返回的点集大小可能随维度呈指数级增长。
• 实现形式为Õ(n^ϱ + |RNN_P(q)|)的查询时间，其中ϱ < 1，从而实现亚线性性能，同时对实际输出大小保持敏感。
• 通过引入输出敏感复杂度的局部敏感族概念，对LSH在穷举r-PLEB中的分析进行细化。
• 开发一种非等距提升技术，以降低查询时间中的输出敏感指数α，从而提升困难实例的效率。

提出的方法

• 将双色RNN查询简化为一次ε-NN搜索和多项式对数数量的穷举r-PLEB查询。
• 应用数据的非等距提升，以提高穷举r-PLEB阶段的效率，降低输出敏感指数α。
• 采用对LSH族在穷举r-PLEB中的精细化分析，引入一个反映实例特定难度的条件数。
• 使用s-稳定分布（针对ℓ_s范数）来定义LSH方案，其中参数p₀、p₁、p₂由累积分布函数Φ推导得出。
• 提出一种新算法（算法6），结合基于LSH的ε-NN和r-PLEB查询，以高概率回答RNN查询。
• 推导出依赖于ϱ和α的查询时间界，其中ϱ < 1且α ≤ εϱ < ε，适用于ℓ₁和ℓ₂范数。

实验结果

研究问题

• RQ1 是否可以在高维空间中实现具有可证明正确性和亚线性查询时间的RNN搜索，从而避免完全依赖启发式方法？
• RQ2 如何更精确地分析穷举r-PLEB查询的复杂度，特别是从输出敏感性的角度？
• RQ3 是否可以将查询时间中的输出敏感指数α降低至ε以下，以及这样做的权衡是什么？
• RQ4 非等距数据提升在多大程度上能提升高维空间中RNN和r-PLEB查询的效率？
• RQ5 是否可以实现RNN搜索的近似最优复杂度界，当前的界与理论最优值有多接近？

主要发现

• 所提方法在期望时间内以Õ(1/ε · n^ϱ + n^α · |ε(2+ε)-RNN_B,Y(q)|)回答双色RNN查询，其中ϱ < 1且对ℓ₁和ℓ₂范数有α ≤ εϱ < ε。
• 对于ℓ₁，ϱ ≤ 1/(1 + min{ε², √ε}/4) < 1；对于ℓ₂，ϱ ≤ 1/(1 + ε²/(1+ε)) < 1，确保了亚线性查询时间。
• 空间复杂度为Õ(1/ε · n^{1+ϱ} + n²)，为多项式复杂度，适用于实际应用。
• 该方法引入了一种新的精确最近邻查询算法，其复杂度依赖于反映实例难度的条件数。
• 非等距提升可将α降低至任意小的正数常量，但代价是使ϱ趋近于1。
• 分析表明，输出敏感项n^α被限制在n^ε以内，表明该方法在RNN集合规模增大时仍具有良好的可扩展性。