[论文解读] Towards Similarity Graphs Constructed by Deep Reinforcement Learning

Dmitry Baranchuk, Artem Babenko|arXiv (Cornell University)|Nov 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 28被引用 9

一句话总结

本文提出一种基于强化学习（RL）的方法，通过在邻接矩阵中学习边的概率，显式优化搜索效率来构建相似性图。通过将图构建问题建模为强化学习任务，该方法在相同距离计算次数下相比启发式基线方法提升了召回率，在多个基准测试中达到最先进性能，包括在GloVe1M数据集上实现88%召回率@1时提升0.4%。

ABSTRACT

Similarity graphs are an active research direction for the nearest neighbor search (NNS) problem. New algorithms for similarity graph construction are continuously being proposed and analyzed by both theoreticians and practitioners. However, existing construction algorithms are mostly based on heuristics and do not explicitly maximize the target performance measure, i.e., search recall. Therefore, at the moment it is not clear whether the performance of similarity graphs has plateaued or more effective graphs can be constructed with more theoretically grounded methods. In this paper, we introduce a new principled algorithm, based on adjacency matrix optimization, which explicitly maximizes search efficiency. Namely, we propose a probabilistic model of a similarity graph defined in terms of its edge probabilities and show how to learn these probabilities from data as a reinforcement learning task. As confirmed by experiments, the proposed construction method can be used to refine the state-of-the-art similarity graphs, achieving higher recall rates for the same number of distance computations. Furthermore, we analyze the learned graphs and reveal the structural properties that are responsible for more efficient search.

研究动机与目标

• 为解决当前相似性图构建方法缺乏理论基础的问题，这些方法目前依赖于泛化能力有限的启发式过程。
• 通过在固定计算预算下最大化搜索召回率，显式优化图结构以提升最近邻搜索（NNS）性能。
• 探究强化学习是否可有效应用于大规模NNS图构建，以超越现有基于启发式的方案。
• 分析有助于提升搜索效率的图结构特性。

提出的方法

• 该方法使用邻接矩阵中派生的边概率，对相似性图进行概率建模。
• 将图构建问题形式化为强化学习任务，其中智能体学习优化边概率，以在一组训练查询上最大化搜索召回率。
• 采用策略梯度方法训练RL智能体，根据搜索性能反馈调整边概率。
• 该方法作为对现有图（如NSW、HNSW）的优化步骤应用，提升其导航特性，而无需改变底层数据结构。
• 通过测量顶点访问频率分析图属性，以识别具有特殊导航功能的枢纽节点。
• 采用基于幅度的剪枝基线进行对比，其中边权重基于访问频率确定，并通过调优阈值实现最优性能。

实验结果

研究问题

• RQ1 强化学习能否有效用于优化相似性图结构以提升最近邻搜索性能，超越基于启发式的方法？
• RQ2 哪些图的结构特性有助于提升搜索效率，且能否被自动学习？
• RQ3 显式优化搜索召回率是否能在多种数据集上带来可测量的召回率@k提升？
• RQ4 所提方法与启发式优化技术（如基于幅度的剪枝）相比表现如何？
• RQ5 所学图在多大程度上表现出具有特殊导航功能的顶点，这种特性与性能提升有何关联？

主要发现

• 该RL方法在所有数据集上均提升了搜索召回率，其中在具有挑战性的GloVe1M数据集上，88%召回率@1时最高提升达0.4%。
• 在所有数据集上，经优化的NSW图性能优于或匹配HNSW，表明当通过优化边实现更优导航时，HNSW中的分层结构可能为冗余。
• 所学图表现出更集中的顶点访问频率分布，表明出现了能更有效地引导搜索的专用导航枢纽。
• RL智能体学会为每个查询选择单个最优起始顶点，将初始探索成本降低至仅一次距离计算。
• 尽管基于幅度的剪枝表现良好，但在DEEP1M的所有距离计算预算下，均被RL方法超越。
• 在RL优化后应用基于幅度的剪枝可进一步提升性能，表明两种方法具有互补性。