[论文解读] The Faiss library

Matthijs Douze, Alexandr Guzhva+7 more|arXiv (Cornell University)|Jan 16, 2024

Data Management and Algorithms被引用 55

一句话总结

Faiss 是一个工业级向量相似性搜索工具包，提供灵活的索引、压缩和非穷尽搜索方法，并且有基准测试框架，用以在准确性、速度和内存之间探索帕累托最优权衡。

ABSTRACT

Vector databases typically manage large collections of embedding vectors. Currently, AI applications are growing rapidly, and so is the number of embeddings that need to be stored and indexed. The Faiss library is dedicated to vector similarity search, a core functionality of vector databases. Faiss is a toolkit of indexing methods and related primitives used to search, cluster, compress and transform vectors. This paper describes the trade-off space of vector search and the design principles of Faiss in terms of structure, approach to optimization and interfacing. We benchmark key features of the library and discuss a few selected applications to highlight its broad applicability.

研究动机与目标

• 解释向量相似性搜索中的设计原则与权衡。
• 描述 Faiss 作为一个工具箱的体系结构与组件，而非单一方法。
• 展示压缩与非穷尽搜索如何在实践中实现可扩展的高精度 ANN。
• 介绍基准测试方法与应用，展示 Faiss 的广泛适用性。

提出的方法

• 描述向量搜索的权衡空间与 Faiss 设计原则。
• 解释两大工具——向量压缩与非穷尽搜索——及它们如何实现灵活的索引。
• 概述库的结构、接口，以及 Faiss 如何用作构件或可脚本化的工具。
• 介绍用于在给定约束下搜索索引组件的帕累托最优配置的基准测试框架。
• 讨论预处理与编码选项（如 PCA、OPQ）及其对精度和效率的影响。

Figure 1: Example of exploration of a parameter space with 3 parameters (an IndexIVFPQ with polysemous codes and HNSW coarse quantizer, running on the Deep100M dataset). The total number of configurations is 5808, but only 398 experiments are run. We also show the set of operating points obtained wi

实验结果

研究问题

• RQ1 Faiss 相关的向量相似性搜索的关键权衡是什么？
• RQ2 压缩和非穷尽搜索如何提升 Faiss 的可扩展 ANN 性能？
• RQ3 如何在不同约束下配置 Faiss 索引以平衡精度、速度和内存？
• RQ4 哪些预处理和编码策略能提升 Faiss 的 ANN 性能？
• RQ5 Faiss 如何与下游系统和实际应用集成？

主要发现

• Faiss 暴露了一个设计空间，在该空间内可以通过压缩和非穷尽搜索选项在精度、内存和速度之间进行权衡。
• 一个基准测试框架可以在给定约束下修剪大型参数空间，从而得到帕累托最优配置。
• Faiss 同时支持 CPU 与 GPU 搜索，以及可为不同规模和用例组合的多种索引类型。
• 预处理变换（如 PCA、随机旋转、OPQ）可以提升量化器的有效性和检索精度。
• 该库在包括十亿级索引、文本检索、数据挖掘和内容审核等应用中得到演示。

Figure 2: The hierarchy of quantizers. Each quantizer can represent the set of reproduction values of the enclosed quantizers.