[论文解读] Randomized partition trees for exact nearest neighbor search

Sanjoy Dasgupta, K. P. Sinha|arXiv (Cornell University)|Feb 8, 2013

Data Management and Algorithms被引用 27

一句话总结

本文分析了随机划分树——一种具有随机化和重叠单元的k-d树变体——在精确最近邻搜索中的应用。它引入了一个潜在函数以界定了失败概率，并证明当数据位于低固有维数空间（如满足倍增测度或主题模型的情况）时，查询时间相比穷举搜索可提升 $2^{-\Omega(\sqrt{L})}$ 的因子。

ABSTRACT

The k-d tree was one of the first spatial data structures proposed for nearest neighbor search. Its efficacy is diminished in high-dimensional spaces, but several variants, with randomization and overlapping cells, have proved to be successful in practice. We analyze three such schemes. We show that the probability that they fail to find the nearest neighbor, for any data set and any query point, is directly related to a simple potential function that captures the difficulty of the point configuration. We then bound this potential function in two situations of interest: the first, when data come from a doubling measure, and the second, when the data are documents from a topic model.

研究动机与目标

• 为随机划分树在精确最近邻搜索中的失败概率提供一个通用表征。
• 分析三种随机树结构——随机投影树、随机k-d树和重叠单元树——超越特定数据族的适用性。
• 通过与数据配置难度相关的潜在函数来界定向失败概率。
• 在低固有维数假设下建立查询时间的改进，例如倍增测度和主题模型。

提出的方法

• 提出一个潜在函数，用于量化点配置在最近邻搜索失败概率方面的难度。
• 采用随机投影树（RP-tree）构造方法，其中分割通过随机单位向量和分位数选择，支持重叠单元。
• 应用切尔诺夫不等式和几何级数论证，分析二值数据模型中从查询点出发的汉明距离的增长率。
• 推导出连续汉明距离概率比的界，以控制数据点在查询点周围的分布范围。
• 通过关联查询点附近点的数量，分析基于树的搜索的失败概率。
• 证明查询时间由 $n_o = n \cdot 2^{-O(\sqrt{L/v})}$ 主导，其中 $L$ 是文档中特征的期望数量，$v$ 是深度阈值。

实验结果

研究问题

• RQ1 随机划分树在精确最近邻搜索中的通用失败概率是什么，且独立于特定数据分布？
• RQ2 数据的固有维度如何影响随机划分树的性能？
• RQ3 是否可以使用一个单一的潜在函数来界定向失败概率，从而捕捉数据配置的难度？
• RQ4 当数据位于低固有维数空间时，基于树的查询时间相比穷举搜索的改进因子是多少？
• RQ5 从查询点出发的汉明距离的几何增长如何影响基于树的搜索的成功率？

主要发现

• 随机划分树的失败概率由与查询点汉明距离分布相关的潜在函数所界定向。
• 对于满足倍增测度的数据，失败概率受固有维数 $d_o$ 控制，从而导致查询时间 $O(2^{O(d_o)} \log n)$。
• 在具有 $t$ 个主题的主题模型中，失败概率被界定向为 $\sqrt{v/L}$，其中 $L$ 是各主题中特征的最小期望数量。
• 基于树的搜索查询时间为 $O(n \cdot 2^{-\Omega(\sqrt{L})})$，相比穷举搜索的 $O(n)$ 提升了 $2^{-\Omega(\sqrt{L})}$ 的因子。
• 汉明距离的几何增长确保了大多数点位于距离查询点 $\Omega(L)$ 的位置，从而支持高效剪枝。
• 分析表明，在低固有维数假设下，随机划分树可在亚线性查询时间内实现精确最近邻搜索。