[论文解读] Results of the NeurIPS'21 Challenge on Billion-Scale Approximate Nearest Neighbor Search

Harsha Vardhan Simhadri, George Williams+10 more|arXiv (Cornell University)|May 8, 2022

Advanced Image and Video Retrieval Techniques参考文献 29被引用 14

一句话总结

本论文展示了NeurIPS'21大规模近似最近邻（ANNS）搜索挑战赛的结果，评估了在三种硬件配置——标准DRAM受限、DRAM+SSD以及定制硬件——下，六种大规模数据集上的算法性能。OptaNNE GraphNN与CUANNS MultiGPU分别在召回率和吞吐量方面取得最佳表现，表明优化的图基方法与多GPU方案在百亿规模下优于基线方法，且具备更高的成本与能效效率。

ABSTRACT

Despite the broad range of algorithms for Approximate Nearest Neighbor Search, most empirical evaluations of algorithms have focused on smaller datasets, typically of 1 million points~\citep{Benchmark}. However, deploying recent advances in embedding based techniques for search, recommendation and ranking at scale require ANNS indices at billion, trillion or larger scale. Barring a few recent papers, there is limited consensus on which algorithms are effective at this scale vis-à-vis their hardware cost. This competition compares ANNS algorithms at billion-scale by hardware cost, accuracy and performance. We set up an open source evaluation framework and leaderboards for both standardized and specialized hardware. The competition involves three tracks. The standard hardware track T1 evaluates algorithms on an Azure VM with limited DRAM, often the bottleneck in serving billion-scale indices, where the embedding data can be hundreds of GigaBytes in size. It uses FAISS~\citep{Faiss17} as the baseline. The standard hardware track T2 additional allows inexpensive SSDs in addition to the limited DRAM and uses DiskANN~\citep{DiskANN19} as the baseline. The specialized hardware track T3 allows any hardware configuration, and again uses FAISS as the baseline. We compiled six diverse billion-scale datasets, four newly released for this competition, that span a variety of modalities, data types, dimensions, deep learning models, distance functions and sources. The outcome of the competition was ranked leaderboards of algorithms in each track based on recall at a query throughput threshold. Additionally, for track T3, separate leaderboards were created based on recall as well as cost-normalized and power-normalized query throughput.

研究动机与目标

• 在真实硬件约束下，评估ANNS算法在百亿规模数据集上的性能。
• 建立可复现的开源基准测试框架，用于大规模ANNS系统。
• 比较不同硬件配置（内存、存储、GPU使用）下的算法效率。
• 识别适用于搜索、推荐与排序等实际应用的可扩展、高成本效益解决方案。
• 激发大规模向量搜索领域系统与算法设计的创新。

提出的方法

• 挑战赛采用托管在GitHub上的标准化评估框架，支持ANNS实现的可复现基准测试。
• 定义了三个硬件赛道：T1（仅64GB DRAM）、T2（64GB DRAM + SSD）和T3（定制硬件），各自具有不同的资源限制。
• 整理了六个多样化的百亿规模数据集，包括来自微软、Meta、百度和雅虎的新发布数据，涵盖多种模态与嵌入类型。
• 在固定k=10和半径R的k-NN与范围搜索查询上评估算法，以最低查询吞吐量阈值下的召回率为指标。
• 对于T3赛道，额外创建了基于召回率、成本归一化吞吐量与功耗归一化吞吐量的排行榜，以评估效率。
• 基线系统包括FAISS（T1、T3）与DiskANN（T2），所有数据集上均使用标准化指标对提交方案进行评估。

实验结果

研究问题

• RQ1 哪些ANNS算法在最小化硬件成本的同时，能在百亿规模下实现最高召回率？
• RQ2 不同硬件配置（DRAM、SSD、GPU）如何影响ANNS系统的性能与效率？
• RQ3 在大规模场景下，图基方法或多GPU方案能否超越传统的向量量化或树基方法？
• RQ4 算法设计如何影响大规模ANNS工作负载中的吞吐量与能效效率？
• RQ5 在真实部署场景中，准确率、延迟与成本之间存在何种权衡？

主要发现

• OptaNNE GraphNN在专用硬件赛道（T3）中召回率最高，并在成本归一化与功耗归一化吞吐量排行榜中排名第一。
• CUANNS MultiGPU在T3赛道中实现了最高查询吞吐量，证明了多GPU加速在大规模ANNS中的有效性。
• 在所有赛道中，基线FAISS实现均被多个提交方案超越，表明大规模ANNS系统仍有显著优化空间。
• T2赛道中SSD的使用显著提升了性能，表明当DRAM不足时，存储I/O可能成为关键瓶颈。
• 评估框架成功实现了在多样化数据集与硬件上的可复现基准测试，且结果经多份提交验证。
• 英特尔与英伟达被授予挑战赛联合优胜者，反映出OptaNNE GraphNN与CUANNS MultiGPU在多项指标上的卓越表现。