[论文解读] Proximity Full-Text Search with a Response Time Guarantee by Means of Additional Indexes with Multi-Component Keys

Alexander B. Veretennikov|arXiv (Cornell University)|Jan 1, 2018

Algorithms and Data Compression参考文献 14被引用 2

一句话总结

本文提出一种基于三元组键索引的邻近全文搜索算法，显著降低响应时间，尤其针对高频查询词。通过预索引配置的 MaxDistance 范围内的词邻近关系，该方法相比传统两组件索引，查询执行速度最高提升 94.7 倍，展示了在全文搜索工作负载中显著的性能提升。

ABSTRACT

Full-text search engines are important tools for information retrieval. In a proximity full-text search, a document is relevant if it contains query terms near each other, especially if the query terms are frequently occurring words. For each word in the text, we use additional indexes to store information about nearby words at distances from the given word of less than or equal to MaxDistance, which is a parameter. We had shown that additional indexes with three-component keys can be used to improve the average query execution time up to 94.7 times if the queries consist of high-frequency used words. In this paper, we present a new search algorithm with even more performance gains. We also present results of search experiments, which show that three-component key indexes enable much faster searches in comparison with two-component key indexes.

研究动机与目标

• 提升频繁出现词汇的邻近全文搜索中的响应时间。
• 解决传统全文搜索在处理高频词彼此靠近时的性能瓶颈。
• 设计一种索引结构，实现对指定距离内词对的快速检索。
• 评估多组件键索引相较于两组件方法在减少查询执行时间方面的有效性。

提出的方法

• 使用三元组键（word, distance, neighbor_word）构建附加索引，以捕捉邻近关系。
• 为每个词存储其在 MaxDistance 范围内的所有邻近词，从而在查询处理期间实现高效查找。
• 利用三元组键结构预计算并索引邻近信息，减少运行时计算开销。
• 通过利用预索引的邻近数据优化查询执行，快速识别相关文档。
• 与两组件键索引（word, neighbor_word）进行性能对比，以隔离距离索引带来的优势。
• 实现一种搜索算法，利用三元组索引高效检索满足邻近约束的文档。

实验结果

研究问题

• RQ1 与两组件索引相比，三元组键索引是否能降低邻近全文搜索的响应时间？
• RQ2 性能提升如何随查询词频率的增加而变化？
• RQ3 使用所提出的索引结构，查询执行时间的最大可实现加速比是多少？
• RQ4 MaxDistance 参数如何影响索引大小和查询性能？

主要发现

• 所提出的三元组键索引结构将涉及高频词的查询平均执行时间最多降低 94.7 倍。
• 在搜索速度方面，三元组键索引优于两组件键索引，尤其在高频查询词场景下表现更优。
• 当查询词为在语料库中频繁出现的词汇时，性能提升最为显著。
• 通过预计算并索引 MaxDistance 范围内的词邻近关系，该方法实现了低延迟的邻近搜索。