[论文解读] Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences

Gonzalo Navarro|arXiv (Cornell University)|Apr 22, 2013

Algorithms and Data Compression被引用 15

一句话总结

本文提出了一套全面的算法框架，用于在一般序列上的文档检索，超越了传统的倒排索引，能够处理生物信息学、化学信息学和多媒体领域的复杂查询。该框架利用压缩后缀数组和波特尔树，在文档列表、top-k 检索和彩色范围查询等任务中实现了最优或近似最优的时间与空间复杂度。

ABSTRACT

Document retrieval is one of the best established information retrieval activities since the sixties, pervading all search engines. Its aim is to obtain, from a collection of text documents, those most relevant to a pattern query. Current technology is mostly oriented to "natural language" text collections, where inverted indices are the preferred solution. As successful as this paradigm has been, it fails to properly handle some East Asian languages and other scenarios where the "natural language" assumptions do not hold. In this survey we cover the recent research in extending the document retrieval techniques to a broader class of sequence collections, which has applications bioinformatics, data and Web mining, chemoinformatics, software engineering, multimedia information retrieval, and many others. We focus on the algorithmic aspects of the techniques, uncovering a rich world of relations between document retrieval challenges and fundamental problems on trees, strings, range queries, discrete geometry, and others.

研究动机与目标

• 将文档检索技术从自然语言文本扩展到一般序列集合，如 DNA、软件代码和多媒体元数据。
• 解决倒排索引在处理非自然语言数据和复杂查询（如短语匹配、近似匹配和彩色范围查询）时的局限性。
• 将文档检索问题与串算法、树结构和范围查询中的基本算法挑战统一起来。
• 识别并分析现代压缩数据结构在时间效率与空间紧凑性之间的权衡。
• 为下一代检索系统提出基础，使其在表达能力和查询灵活性方面超越传统倒排索引。

提出的方法

• 以压缩后缀数组（CSA）和波特尔树作为核心数据结构，紧凑地表示文档集合，同时支持高效查询。
• 将文档检索建模为彩色范围查询问题，其中每个文档为一种颜色，序列中的位置以关联的文档标识符进行索引。
• 应用先进的数据压缩技术，将空间使用量降低至可压缩数据的每字符 12 位（bpc）以内。
• 利用波特尔树和简洁数据结构实现时间-空间权衡，实现多项式对数时间复杂度的查询，同时保持次线性空间开销。
• 使用文档数组和后缀数组支持对文档频率、文档列表和 top-k 检索的快速访问。
• 以逆文档频率（idf）和词频（tf）加权模型作为基线，并扩展以支持序列级查询。

实验结果

研究问题

• RQ1 文档检索能否超越自然语言文本，推广到如 DNA 或软件代码等任意序列集合？
• RQ2 文档列表和 top-k 检索等基本文档检索操作的最优时间与空间复杂度是什么？
• RQ3 压缩数据结构（如波特尔树和压缩后缀数组）与倒排索引相比，在处理复杂查询时表现如何？
• RQ4 空间最优的数据结构在多大程度上可被实际应用于真实世界的文档检索工作负载？
• RQ5 在基于序列的文档检索中，查询时间与空间使用量之间是否存在根本性的算法权衡？

主要发现

• 本文在所有主要文档检索问题（包括文档列表和 top-k 检索）中均实现了最优或近似最优的时间与空间复杂度。
• 空间最优解仅需在 CSA 基础上额外使用 $ o(n) $ 位，查询时间复杂度为 $ ext{polylog}(n) $，显著降低了空间使用量。
• 对于可压缩集合，最节省空间的解决方案每字符仅使用 12 位（bpc），同时仍可在数十毫秒内完成查询。
• 最耗空间的实现最多使用 26 bpc，查询响应时间仅数毫秒，证明了其在实际中的可行性。
• 在空间高效方案下，top-k 查询可在 $ k $–$ 4k $ 微秒内完成，显示出交互式搜索的优异性能。
• 理论结果表明，基于后缀数组的系统在处理复杂查询（如短语匹配、近似匹配和自动补全）时，可优于倒排索引。