[论文解读] Understanding and Improving Proximity Graph based Maximum Inner Product Search

Jie Liu, Yan Xiao+4 more|arXiv (Cornell University)|Sep 30, 2019

Data Management and Algorithms参考文献 23被引用 5

一句话总结

本文揭示了最大内积搜索（MIPS）中存在显著的范数偏差，即高范数项目主导了搜索结果。文章解释了ip-NSW之所以表现优越，是因为其图结构通过优先选择高范数项目而放大了这种偏差。为提升鲁棒性，作者提出了ip-NSW+，该方法首先利用方向相近图来寻找与查询方向相似的项目，再通过内积进行搜索，显著减少了不必要的计算量，并在多种数据分布下均优于ip-NSW。

ABSTRACT

The inner-product navigable small world graph (ip-NSW) represents the state-of-the-art method for approximate maximum inner product search (MIPS) and it can achieve an order of magnitude speedup over the fastest baseline. However, to date it is still unclear where its exceptional performance comes from. In this paper, we show that there is a strong norm bias in the MIPS problem, which means that the large norm items are very likely to become the result of MIPS. Then we explain the good performance of ip-NSW as matching the norm bias of the MIPS problem - large norm items have big in-degrees in the ip-NSW proximity graph and a walk on the graph spends the majority of computation on these items, thus effectively avoids unnecessary computation on small norm items. Furthermore, we propose the ip-NSW+ algorithm, which improves ip-NSW by introducing an additional angular proximity graph. Search is first conducted on the angular graph to find the angular neighbors of a query and then the MIPS neighbors of these angular neighbors are used to initialize the candidate pool for search on the inner-product proximity graph. Experiment results show that ip-NSW+ consistently and significantly outperforms ip-NSW and provides more robust performance under different data distributions.

研究动机与目标

• 理解尽管ip-NSW并非理想的Delaunay图，为何其在近似MIPS中仍能实现最先进性能。
• 探究ip-NSW性能的内在原因，特别是其与数据分布及范数特性的相互作用。
• 通过设计更鲁棒的搜索策略，解决ip-NSW在范数分布偏斜时的性能下降问题。
• 开发一种新算法，在保持高召回率的同时，减少对高范数但低相关性项目的无效计算。

提出的方法

• 作者识别并量化了MIPS中的强范数偏差，表明在四个数据集中，范数最高的5%项目在top-10结果中占比高达100%。
• 分析ip-NSW的图结构，证明高范数项目具有显著更高的入度，从而解释了为何该算法能高效跳过低范数候选项目。
• 提出的ip-NSW+引入了一个独立的方向相近图，用于首先识别与查询方向相似的项目。
• 将内积搜索的候选项目初始化为方向相近的邻居，从而减少了需评估的高范数但低相关性项目数量。
• 该算法采用两阶段搜索：首先在方向图上寻找有希望的候选项目，然后以这些候选项目作为初始池，在内积相近图上进行搜索。
• 该方法对范数分布变化具有鲁棒性，如在不同尾部因子（TF）的数据集上均表现出一致的性能。

实验结果

研究问题

• RQ1 尽管ip-NSW是理想Delaunay图的近似，为何其在近似MIPS中仍能实现如此高的性能？
• RQ2 ip-NSW的性能在多大程度上受数据集范数分布的影响？
• RQ3 能否利用或缓解ip-NSW中的范数偏差，以提升搜索效率与鲁棒性？
• RQ4 在MIPS中引入方向相似性信息是否能带来更优的候选选择并减少计算量？

主要发现

• MIPS问题存在显著的范数偏差：在四个数据集中，即使在范数分布未偏斜的情况下，范数最高的5%项目在top-10 MIPS结果中占比达87.5%至100%。
• ip-NSW的性能可归因于其图结构，该结构使高范数项目拥有高入度，导致搜索路径集中于最可能的候选项目。
• ip-NSW+在每单位召回的相似度函数评估次数上显著优于ip-NSW，尤其在不同范数分布下表现更优。
• ip-NSW+在ImageNet不同变体（TF值从2.05到1.37）上均保持一致性能，而ip-NSW在范数偏斜增加时性能明显下降。
• ip-NSW+对方向图中参数$M$和$l$的选择具有鲁棒性，最优性能出现在$M=10$，$l=10$。
• 利用方向邻居初始化候选池，可确保内积评估集中于最有可能产生良好MIPS结果的项目，从而减少无效计算。