[论文解读] Norm-Explicit Quantization: Improving Vector Quantization for Maximum Inner Product Search

Xinyan Dai, Xiao Yan+3 more|arXiv (Cornell University)|Nov 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 27被引用 4

一句话总结

本文提出Norm-Explicit Quantization (NEQ)，一种通用框架，通过使用专用码书显式量化向量范数，同时复用现有方法进行方向量化，从而提升最大内积搜索（MIPS）的向量量化性能。NEQ在多个向量量化方法（PQ、OPQ、RQ、AQ）上显著提升了召回率，证明了范数误差对内积准确度的影响大于方向误差，且最小化整体量化误差并非MIPS的最优策略。

ABSTRACT

Vector quantization (VQ) techniques are widely used in similarity search for data compression, fast metric computation and etc. Originally designed for Euclidean distance, existing VQ techniques (e.g., PQ, AQ) explicitly or implicitly minimize the quantization error. In this paper, we present a new angle to analyze the quantization error, which decomposes the quantization error into norm error and direction error. We show that quantization errors in norm have much higher influence on inner products than quantization errors in direction, and small quantization error does not necessarily lead to good performance in maximum inner product search (MIPS). Based on this observation, we propose norm-explicit quantization (NEQ) --- a general paradigm that improves existing VQ techniques for MIPS. NEQ quantizes the norms of items in a dataset explicitly to reduce errors in norm, which is crucial for MIPS. For the direction vectors, NEQ can simply reuse an existing VQ technique to quantize them without modification. We conducted extensive experiments on a variety of datasets and parameter configurations. The experimental results show that NEQ improves the performance of various VQ techniques for MIPS, including PQ, OPQ, RQ and AQ.

研究动机与目标

• 探究在MIPS依赖于内积而非欧氏距离的背景下，最小化总量化误差是否对MIPS最优。
• 识别在向量量化中，范数误差与方向误差对内积近似准确度的相对影响。
• 设计一种通用框架，改进现有VQ技术在MIPS中的表现，而无需修改其核心码书学习或推理流程。
• 证明显式量化范数可带来优于最小化整体量化误差的MIPS性能，尤其在高维、范数差异显著的数据集上。

提出的方法

• 将量化误差分解为范数误差（||x|| - ||x̃||）和角度误差（1 - (xᵀx̃)/(||x|| ||x̃||)），以分析其对内积准确度的独立影响。
• 提出Norm-Explicit Quantization (NEQ)，将向量表示分离为范数和单位方向，并使用专用码书显式量化范数。
• 对单位范数方向向量复用现有VQ技术（如PQ、RQ、AQ）的完整流程，保持其学习与推理管道不变。
• 通过将标准向量的量化替换为独立的范数与方向量化，将NEQ集成到现有VQ方法中，同时保持近似内积计算的O(M)复杂度。
• 使用标准VQ优化目标训练方向码书，同时独立优化范数量化以最小化范数误差。
• 将NEQ应用于多个VQ基线方法（PQ、OPQ、RQ、AQ），并在标准基准（如ImageNet、SIFT1M）上评估top-k MIPS性能，以召回率和查询处理时间为指标。

实验结果

研究问题

• RQ1 在内积具有独特性质的背景下，最小化总量化误差是否能带来MIPS的最佳性能？
• RQ2 在MIPS中，量化误差的哪个分量——范数误差还是角度误差——对内积近似准确度影响更大？
• RQ3 能否设计一种通用框架，在不修改其核心学习或推理流程的前提下，改进现有VQ技术在MIPS中的表现？
• RQ4 即使总量化误差略有上升，是否仍可通过显式最小化范数误差实现更高的MIPS召回率？

主要发现

• NEQ在多种数据集（包括ImageNet和SIFT1M）上显著提升了多个VQ方法（PQ、OPQ、RQ、AQ）的召回率，且在不同参数设置下均保持一致的性能增益。
• 在ImageNet数据集上，NE-RQ在相同查询处理时间下优于最先进的邻近图方法ip-NSW，证明了NEQ在候选生成中的有效性。
• NE-PQ在性能上优于QUIP-cov(x)，后者是一种专门针对MIPS设计的VQ方法，尽管QUIP采用了更复杂的码书学习策略以直接最小化内积误差。
• 与基线RQ相比，NEQ显著降低了范数误差，同时略微增加了总量化误差，证明最小化总误差并非MIPS的最优策略。
• NEQ保持了较小的索引大小（例如，NE-PQ为每项16位），且在相同或更小索引大小下，其召回率优于基于LSH的方法（如Norm-Range LSH、Simple-LSH）。
• NEQ在多次运行中表现出更低的召回率标准差，表明其码书学习过程具有更高的鲁棒性。