[论文解读] Practical linear-space Approximate Near Neighbors in high dimension

Georgia Avarikioti, Ioannis Z. Emiris+2 more|arXiv (Cornell University)|Dec 22, 2016

Advanced Image and Video Retrieval Techniques参考文献 18被引用 4

一句话总结

本文提出Dolphinn，一种用于高维空间近似最近邻搜索的实用线性空间数据结构。通过将点随机投影到维度为 log n 的汉明立方体并查询附近桶，它在任意 c > 1 的情况下（包括 c → 1⁺）实现了次线性查询时间，与最先进的LSH库（如FALCONN）相比，显著降低了内存和预处理开销。

ABSTRACT

The $c$-approximate Near Neighbor problem in high dimensional spaces has been mainly addressed by Locality Sensitive Hashing (LSH), which offers polynomial dependence on the dimension, query time sublinear in the size of the dataset, and subquadratic space requirement. For practical applications, linear space is typically imperative. Most previous work in the linear space regime focuses on the case that $c$ exceeds $1$ by a constant term. In a recently accepted paper, optimal bounds have been achieved for any $c>1$ \cite{ALRW17}. Towards practicality, we present a new and simple data structure using linear space and sublinear query time for any $c>1$ including $c o 1^+$. Given an LSH family of functions for some metric space, we randomly project points to the Hamming cube of dimension $\log n$, where $n$ is the number of input points. The projected space contains strings which serve as keys for buckets containing the input points. The query algorithm simply projects the query point, then examines points which are assigned to the same or nearby vertices on the Hamming cube. We analyze in detail the query time for some standard LSH families. To illustrate our claim of practicality, we offer an open-source implementation in { t C++}, and report on several experiments in dimension up to 1000 and $n$ up to $10^6$. Our algorithm is one to two orders of magnitude faster than brute force search. Experiments confirm the sublinear dependence on $n$ and the linear dependence on the dimension. We have compared against state-of-the-art LSH-based library { t FALCONN}: our search is somewhat slower, but memory usage and preprocessing time are significantly smaller.

研究动机与目标

• 解决在高维欧几里得空间中实现高效近似最近邻搜索的挑战，要求线性空间和次线性查询时间。
• 设计一种实用的、与数据无关的方法，即使在近似因子 c 从上方趋近于 1 时仍能保持高效。
• 与现有的基于LSH的系统（如FALCONN）相比，显著降低内存消耗和预处理时间，尤其在大规模场景下。
• 提供一种简单、开源的C++实现，其性能优于暴力搜索，并能随维度和数据集规模良好扩展。

提出的方法

• 该方法使用随机投影将高维点映射到维度为 log n 的汉明立方体，每个点根据其投影后的二进制字符串被分配到一个桶中。
• 查询算法将查询点投影到相同的汉明立方体，并从同一或邻近的桶中检索点以找到近似邻居。
• 利用标准LSH族处理欧几里得和曼哈顿度量，在这些投影下分析查询时间复杂度。
• 该方法是与数据无关的，依赖于随机投影而非数据集特定的优化，从而提升实用性和简洁性。
• 实现中采用在汉明立方体上的多探针策略，以在查询处理期间高效探索邻近顶点。
• 该方法旨在实现最优空间复杂度（在 n 上线性），同时对任意 c > 1 保持次线性查询时间。

实验结果

研究问题

• RQ1 一种简单、与数据无关的方法能否在高维空间中实现近似最近邻搜索的次线性查询时间和线性空间？
• RQ2 与最先进的LSH库相比，随机投影至汉明立方体在速度、内存和预处理方面的性能如何？
• RQ3 当 c → 1⁺ 时，该方法在维度 d 和数据集大小 n 增加时是否能高效扩展？
• RQ4 与FALCONN和暴力搜索相比，实际中查询时间、内存使用和预处理时间之间的权衡如何？

主要发现

• 在最多 10⁶ 个点和 1000 个维度的实验中，Dolphinn 相较于暴力搜索实现了 1 到 2 个数量级的速度提升。
• 查询时间随 n 呈次线性增长，随 d 呈线性增长，与理论预期一致。
• 在所有测试配置中，Dolphinn 的内存消耗仅为 FALCONN 的 2.1 倍，预处理时间快了 6.5 倍。
• 尽管 FALCONN 的搜索速度快 1.15 倍，但 Dolphinn 在内存消耗远低于 FALCONN 的情况下实现了相当的准确率（在Klein瓶数据集上为 98.8%，在SIFT数据集高阈值下为 100%）。
• 该方法在所有实验中均保持了最大准确率，且随着邻近桶检查阈值的提高，搜索时间仅适度增加。
• 开源的C++实现证实了其实用性，对于 100 万个点和 1024 个维度的数据集，编译时间低于 1.7 秒。