[论文解读] Optimal Top-k Document Retrieval

Gonzalo Navarro, Yakov Nekrich|arXiv (Cornell University)|Jul 25, 2013

Algorithms and Data Compression参考文献 64被引用 5

一句话总结

本文提出了一种线性空间的数据结构，用于在随机存取机（RAM）模型中实现最优的 top-k 文档检索，查询时间复杂度为 $ O(p/\log_{\sigma}n + k) $，该复杂度在一般相关性度量（如词频、最小间隔距离和文档排名）下为渐近最优。该方法将问题转化为多维几何搜索，并引入一种新型的 RAM 最优后缀树遍历技术，实现在不改变后缀树拓扑结构的前提下高效检索。

ABSTRACT

Let $\mathcal{D}$ be a collection of $D$ documents, which are strings over an alphabet of size $σ$, of total length $n$. We describe a data structure that uses linear space and and reports $k$ most relevant documents that contain a query pattern $P$, which is a string of length $p$, in time $O(p/\log_σn+k)$, which is optimal in the RAM model in the general case where $\lg D = Θ(\log n)$, and involves a novel RAM-optimal suffix tree search. Our construction supports an ample set of important relevance measures... [clip] When $\lg D = o(\log n)$, we show how to reduce the space of the data structure from $O(n\log n)$ to $O(n(\logσ+\log D+\log\log n))$ bits... [clip] We also consider the dynamic scenario, where documents can be inserted and deleted from the collection. We obtain linear space and query time $O(p(\log\log n)^2/\log_σn+\log n + k\log\log k)$, whereas insertions and deletions require $O(\log^{1+ε} n)$ time per symbol, for any constant $ε>0$. Finally, we consider an extended static scenario where an extra parameter $par(P,d)$ is defined, and the query must retrieve only documents $d$ such that $par(P,d)\in [τ_1,τ_2]$, where this range is specified at query time. We solve these queries using linear space and $O(p/\log_σn + \log^{1+ε} n + k\log^εn)$ time, for any constant $ε>0$. Our technique is to translate these top-$k$ problems into multidimensional geometric search problems. As an additional bonus, we describe some improvements to those problems.

研究动机与目标

• 解决在大规模文本集合中高效检索包含给定查询模式 P 的 top-k 篇最相关文档这一基本问题。
• 设计一种支持广泛相关性度量（包括词频、最小间隔距离和文档排名）的最优查询时间的数据结构。
• 将解决方案扩展至动态场景，支持文档的插入与删除，同时保持高效的更新与查询时间。
• 在文档数量较少（$ \lg D = o(\log n) $）的情况下降低空间使用量，同时保持接近最优的查询性能。
• 将模型泛化以支持对辅助参数 $ \mathtt{par}(P,d) $ 的范围约束，实现在检索过程中更复杂的过滤。

提出的方法

• 核心方法将 top-k 文档检索问题转化为多维几何范围报告问题，利用几何数据结构实现高效查询。
• 提出一种新型的 RAM 最优后缀树搜索算法，通过利用 RAM 模型中的字级并行性，实现 $ O(p/\log_{\sigma}n) $ 的查询时间。
• 该数据结构采用基于后缀树的网格表示，其中每个节点维护指向文档列表的加权指针，从而实现相关性得分的高效聚合。
• 对于动态场景，结构支持每次字符插入或删除的 $ O(\log^{1+\varepsilon}n) $ 时间复杂度，使用动态版本的网格结构。
• 在文档稀疏场景下（$ \lg D = o(\log n) $），空间复杂度降低至 $ O(n(\log\sigma + \log D)) $ 位，仅在查询时间增加一个较小的 $ O(\log^{\varepsilon}n \log\sigma) $ 项。
• 该框架支持扩展查询，通过结合几何范围查询与后缀树导航，实现对辅助参数 $ \mathtt{par}(P,d) \in [\tau_1, \tau_2] $ 的范围约束。

实验结果

研究问题

• RQ1 能否在 RAM 模型中仅使用线性空间实现 $ O(p/\log_{\sigma}n + k) $ 的 top-k 文档检索时间复杂度，且该复杂度是否为最优？
• RQ2 如何对后缀树进行增强，以在不改变其底层拓扑结构的前提下支持最优 top-k 检索，同时保持先前结构的不变性？
• RQ3 当文档数量 $ D $ 相对于 $ n $ 为次多项式时，空间与查询时间之间的权衡如何？能否将空间复杂度降低至 $ O(n(\log\sigma + \log D)) $ 位？
• RQ4 能否将静态最优解扩展至支持动态更新（插入与删除），并保持高效的更新与查询时间？
• RQ5 能否将模型泛化以支持基于辅助参数 $ \mathtt{par}(P,d) $（如最小距离或自定义文档评分）在指定范围内的文档过滤查询？

主要发现

• 所提出的数据显示结构在 RAM 模型中对一般相关性度量实现了最优查询时间 $ O(p/\log_{\sigma}n + k) $，在标准假设下达到理论下界。
• 对于词频度量，当 $ \lg D = o(\log n) $ 时，空间复杂度降低至 $ O(n(\log\sigma + \log D)) $ 位，仅在查询时间增加一个较小的 $ O(\log^{\varepsilon}n \log\sigma) $ 项。
• 动态变体支持查询时间复杂度为 $ O(p(\log\log n)^2/\log_{\sigma}n + \log n + k\log\log k) $，每次字符的更新时间复杂度为 $ O\left(\log^{1+\varepsilon}n\right) $，其中 $ \varepsilon > 0 $ 为任意常数。
• 该框架可高效处理扩展查询，要求文档满足 $ \mathtt{par}(P,d) \in [\tau_1, \tau_2] $，查询时间复杂度为 $ O(p/\log_{\sigma}n + \log^{1+\varepsilon}n + k\log^{\varepsilon}n) $。
• 该方法具有实用性，可实现为仅需文本大小 2 到 3 倍的空间，平均每个结果的检索时间在亚毫秒级别，即使在平均情况查询时间非最优的情况下亦可实现。
• 通过模拟倒排索引遍历，该方法可推广至词袋模型，从而在字符串文档背景下模拟任何为显式列表表示设计的算法。