[论文解读] The Role of Local Intrinsic Dimensionality in Benchmarking Nearest Neighbor Search

Martin Aumüller, Matteo Ceccarello|arXiv (Cornell University)|Jul 17, 2019

Data Management and Algorithms参考文献 25被引用 10

一句话总结

本文研究局部内在维度（LID）作为最近邻（NN）搜索查询难度的预测因子，证明LID可实现对查询集难度谱的可控选择。研究显示，更高的LID与四种NN算法（HNSW、FAISS-IVF、Annoy、ONNG）的性能下降相关，并引入了新颖的可视化方法，揭示图-based方法表现出二值化召回行为，而其他方法则呈现连续的性能过渡。

ABSTRACT

This paper reconsiders common benchmarking approaches to nearest neighbor search. It is shown that the concept of local intrinsic dimensionality (LID) allows to choose query sets of a wide range of difficulty for real-world datasets. Moreover, the effect of different LID distributions on the running time performance of implementations is empirically studied. To this end, different visualization concepts are introduced that allow to get a more fine-grained overview of the inner workings of nearest neighbor search principles. The paper closes with remarks about the diversity of datasets commonly used for nearest neighbor search benchmarking. It is shown that such real-world datasets are not diverse: results on a single dataset predict results on all other datasets well.

研究动机与目标

• 本文旨在评估LID是否可作为最近邻搜索中查询难度的可靠指标。
• 研究旨在评估真实世界数据集中LID分布对最先进NN算法性能的影响。
• 研究调查现有基准数据集是否足够多样化，以揭示算法的优势与劣势。
• 本文引入新的可视化技术，以揭示NN算法行为中隐藏的性能模式。

提出的方法

• 作者使用k=100邻居的MLE估计器，为每个查询点估计局部内在维度（LID）。
• 基于LID值构建查询集——选择LID值低、中、高及多样的点，以实现对性能的受控评估。
• 在多个真实世界数据集上对四种最先进的NN搜索实现（HNSW、FAISS-IVF、Annoy、ONNG）进行基准测试。
• 引入新型可视化技术，包括使用六边形分箱的召回率与LID密度图，以展示查询性能分布。
• 比较不同数据集和查询集之间的平均性能指标（吞吐量、召回率），同时分析性能方差。
• 通过评估一种数据集上的性能是否能预测另一种数据集上的性能，分析基准数据集的多样性。

实验结果

研究问题

• RQ1 在多大程度上，局部内在维度（LID）可用于控制最近邻搜索中查询集的难度？
• RQ2 数据集中LID的分布在多大程度上影响不同NN算法的运行时间和召回率性能？
• RQ3 在不同LID条件下，图-based NN算法（如HNSW、ONNG）与向量量化或树-based方法相比，是否表现出根本不同的性能行为？
• RQ4 用于NN搜索的常用基准数据集是否足够多样化，以揭示不同算法方法的相对优势与劣势？
• RQ5 新型可视化技术是否能揭示隐藏的性能模式（如二值化与连续召回行为），这些模式在平均性能指标下被掩盖？

主要发现

• 在测试的四种NN实现中，更高的局部内在维度（LID）始终与更差的性能相关，表明LID是查询难度的强预测因子。
• 图-based算法（HNSW和ONNG）的性能表现出二值化行为：它们要么检索所有真实最近邻，要么完全失败，而FAISS-IVF和Annoy则表现出连续的性能过渡。
• 尽管LID分布存在差异，四种算法的相对性能排名在不同数据集中保持一致，表明当前基准数据集的多样性有限。
• 如使用六边形分箱的召回率与LID密度图等可视化技术揭示，高LID查询更可能产生低召回率，暴露出平均指标无法显示的性能不确定性。
• 研究发现，SIFT对所有算法而言都比GLOVE更简单，这与仅从LID分布预测的结果相反，表明LID本身不足以作为相对性能的充分预测因子。
• 通过包含多样化LID值构建的查询集，相比随机采样，能产生更具信息量的基准测试，因其包含均衡的简单与困难查询，从而更有效地评估算法的适应能力。