[论文解读] Quantization based Fast Inner Product Search

Ruiqi Guo, Sanjiv Kumar+2 more|arXiv (Cornell University)|Sep 4, 2015

Advanced Image and Video Retrieval Techniques参考文献 14被引用 50

一句话总结

本文提出基于量化的内积搜索（QUIP），一种通过学习码书对数据库向量在子空间中进行量化以加速最大内积搜索（MIPS）的方法，直接最小化内积量化误差。该方法在真实世界数据集（包括深度学习和推荐任务）上，在固定空间和固定时间约束下均优于当前最先进方法。

ABSTRACT

We propose a quantization based approach for fast approximate Maximum Inner Product Search (MIPS). Each database vector is quantized in multiple subspaces via a set of codebooks, learned directly by minimizing the inner product quantization error. Then, the inner product of a query to a database vector is approximated as the sum of inner products with the subspace quantizers. Different from recently proposed LSH approaches to MIPS, the database vectors and queries do not need to be augmented in a higher dimensional feature space. We also provide a theoretical analysis of the proposed approach, consisting of the concentration results under mild assumptions. Furthermore, if a small sample of example queries is given at the training time, we propose a modified codebook learning procedure which further improves the accuracy. Experimental results on a variety of datasets including those arising from deep neural networks show that the proposed approach significantly outperforms the existing state-of-the-art.

研究动机与目标

• 解决在任意向量范数的高维空间中高效进行最大内积搜索（MIPS）的挑战。
• 克服现有基于LSH的方法需要将向量增强到更高维空间的局限性。
• 提出一种码书学习框架，直接最小化内积量化误差，从而提升搜索准确率。
• 在训练阶段引入少量示例查询，通过约束优化过程进一步提升准确率。
• 在温和假设下提供理论浓度界，以证明该方法的鲁棒性与泛化能力。

提出的方法

• 将每个数据库向量分解为多个子向量，并使用学习得到的码书对每个子向量进行量化，以最小化内积重构误差。
• 将查询与数据库向量之间的内积近似为查询子向量与其对应量化子向量之间内积的和。
• 通过优化学习码书，最小化内积量化误差的期望值，而非L2重构误差。
• 当训练阶段存在示例查询时，引入约束学习过程，优化码书以保留Top-N MIPS结果。
• 应用浓度不等式（Berry-Esseen）推导量化内积与真实内积之间偏差的概率上界。
• 以对称向量变换（如ALSH中的变换）作为基线进行比较，但通过直接建模内积的量化方式避免此类变换。

实验结果

研究问题

• RQ1 能否将内积量化表述为直接最小化内积误差而非L2误差的优化问题？
• RQ2 所提出的QUIP方法在准确率与效率方面相较于现有基于LSH的MIPS方法表现如何？
• RQ3 在训练阶段引入少量示例查询是否能提升基于量化的MIPS搜索准确率？
• RQ4 在温和的分布假设下，量化内积近似误差的理论保证是什么？
• RQ5 该方法在多种真实世界数据集上是否在固定空间与固定时间搜索约束下均保持优异性能？

主要发现

• QUIP方法在四个真实世界数据集（包括Movielens、Netflix、ImageNet和VideoRec）上显著优于当前最先进方法。
• 在所有数据集中，QUIP的准确率均高于ALSH和基于SRP的LSH方法，尤其在固定空间场景下优势明显。
• 当训练阶段提供示例查询时，约束码书学习过程进一步提升了准确率，表明方法对查询分布具有良好的适应能力。
• 理论分析表明，在温和假设下，量化内积会集中在真实内积附近，且给出了偏差概率的显式上界。
• 该方法避免了将向量增强到更高维空间的需求，与ALSH相比，实现了更简单高效的索引结构。
• 实验结果证实，QUIP在固定空间与固定时间搜索约束下均保持强大性能，适用于大规模应用场景。