[论文解读] String algorithms and data structures

Paolo Ferragina|ArXiv.org|Jan 15, 2008

Algorithms and Data Compression参考文献 156被引用 8

一句话总结

本综述全面概述了用于高效文本索引的先进字符串算法与数据结构，强调了压缩、缓存感知设计以及外部内存模型的集成。它突出展示了FM-index和WFM-index作为实现次线性空间与查询时间的关键工具，使大规模文本集合中的快速模式匹配成为可能。

ABSTRACT

The string-matching field has grown at a such complicated stage that various issues come into play when studying it: data structure and algorithmic design, database principles, compression techniques, architectural features, cache and prefetching policies. The expertise nowadays required to design good string data structures and algorithms is therefore transversal to many computer science fields and much more study on the orchestration of known, or novel, techniques is needed to make progress in this fascinating topic. This survey is aimed at illustrating the key ideas which should constitute, in our opinion, the current background of every index designer. We also discuss the positive features and drawback of known indexing schemes and algorithms, and devote much attention to detail research issues and open problems both on the theoretical and the experimental side.

研究动机与目标

• 建立一个统一的框架，用于评估和比较字符串索引方案，以应对现代文本检索系统日益增长的复杂性。
• 识别并分析在文本索引中空间效率、查询性能与构建时间之间的关键权衡。
• 倡导在索引设计中采用跨领域的综合方法，结合算法设计、压缩技术与系统级优化（例如缓存、预取）。
• 突出字符串数据结构在理论与实验层面的开放问题与研究方向。
• 推广使用压缩、缓存友好且支持块寻址的索引技术，以实现大规模文本检索的高效处理。

提出的方法

• 提出一个基于多个标准（空间、时间、I/O复杂度、构建难易度）的系统性索引方案评估框架。
• 引入FM-index与WFM-index作为基于压缩后缀数组的压缩数据结构，支持次线性空间与次线性查询时间的快速模式匹配。
• 将块寻址方案与压缩索引（如FM-index）结合，实现在压缩文本块上的高效、局部化搜索。
• 在压缩块上应用机会性字符串匹配算法，通过减少I/O操作将性能提升30–50%。
• 利用Lempel-Ziv解析与周期性结构的利用，降低基于相似性的字符串计算的时间复杂度。
• 将FM-index作为高级信息检索系统中的过滤与索引原语，实现对候选块中模式出现位置的快速检测。

实验结果

研究问题

• RQ1 如何设计压缩字符串数据结构，以在模式匹配中实现次线性空间与次线性查询时间？
• RQ2 在大规模文本检索中，传统倒排索引、块寻址方案与压缩后缀数组之间的性能权衡是什么？
• RQ3 在外部内存与多级存储架构中，如何联合优化压缩与缓存？
• RQ4 字符串的固有周期性在哪些方面可被利用以改善基于相似性的字符串计算的时间复杂度？
• RQ5 结合块寻址与压缩索引的混合索引模型是否能独立于块大小，同时实现次线性空间与次线性查询时间？

主要发现

• FM-index与WFM-index在理论与实际环境中均实现了次线性空间开销与次线性查询时间，优于传统倒排索引与Glimpse工具。
• 将块寻址与FM-index等压缩索引结合，可实现高效、局部化的模式搜索，通过机会性字符串匹配将I/O减少并使性能提升30–50%。
• 理论分析证实，块寻址 + 压缩索引方法可独立于块大小实现次线性空间与次线性查询时间，而传统倒排索引则无法做到这一点。
• 基于压缩的技术（如Lempel-Ziv解析）可将相似性搜索中动态规划的时间复杂度降低至O(n²/log n)，接近推测的最优界。
• 将FM-index作为信息检索系统中的过滤机制，可利用其精确模式搜索的高效性，快速检测候选文本块中模式的出现位置。
• 结合块寻址、压缩与缓存感知设计的混合系统，为可扩展、高性能的文本检索提供了极具前景的发展路径。