[论文解读] Tying up the loose ends in fully LZW-compressed pattern matching

Paweł Gawrychowski|arXiv (Cornell University)|Sep 19, 2011

Algorithms and Data Compression被引用 19

一句话总结

本文提出了首个在完全LZW压缩模式匹配中实现最优线性时间复杂度的算法，其中模式和文本均使用Lempel-Ziv-Welch（LZW）方法进行压缩。通过利用块覆盖、迭代压缩，以及在码字Trie上对后缀树的PREF函数进行创新性应用，该方法实现了O(n + m)的时间复杂度，显著优于先前的O((n + m) log(n + m))解法，并解决了压缩模式匹配领域长期存在的开放问题。

ABSTRACT

We consider a natural generalization of the classical pattern matching problem: given compressed representations of a pattern p[1..M] and a text t[1..N] of sizes m and n, respectively, does p occur in t? We develop an optimal linear time solution for the case when both p and t are compressed using the LZW method. This improves the previously known O((n+m)log(n+m)) time solution of Gasieniec and Rytter, and essentially closes the line of research devoted to studying LZW-compressed exact pattern matching.

研究动机与目标

• 在最优线性时间内解决LZW压缩字符串的完全压缩模式匹配问题。
• 弥合先前已知的O((n + m) log(n + m))解法与理论下界O(n + m)之间的差距。
• 开发一种方法，在不解压缩模式或文本的前提下，高效检测压缩形式下的模式出现位置。
• 将先前工作的O(n + M)线性时间压缩模式匹配算法扩展至完全压缩情形，即模式和文本均被压缩。

提出的方法

• 该算法使用块覆盖数据结构，将模式的片段表示为LZW码字的前缀，从而在无需完全解压缩的情况下实现高效操作。
• 通过迭代压缩机制，在相邻块作为更长码字的前缀时将其合并，以降低结构复杂度。
• 该方法利用PREF函数在压缩形式下计算模式片段与文本片段之间的最长公共前缀，借助层级祖先数据结构实现实时访问。
• 在LZW码字Trie上构建后缀树，以支持任意两个码字之间的最长公共前缀查询，利用最近公共祖先（LCA）查询实现。
• 算法动态维护一个指向当前覆盖模式位置的块的指针，在扫描过程中以常数时间更新，以支持高效的模式匹配。
• 对于周期性模式，采用先前O(n + M)算法的改进版本，辅以额外技术以在不解压的情况下处理压缩结构。

实验结果

研究问题

• RQ1 完全LZW压缩模式匹配能否在O(n + m)时间内解决，其中n和m分别为文本和模式的压缩大小？
• RQ2 是否可能在不解压模式和文本的前提下，仍能检测其在压缩形式下的模式出现？
• RQ3 LZW压缩字符串的哪些结构特性可被利用以实现在模式匹配中的最优时间复杂度？
• RQ4 PREF函数如何被适配以在以块覆盖表示的压缩模式片段上高效运行？
• RQ5 能否通过新颖的数据结构和压缩技术，将Gąsieniec与Rytter提出的O((n + m) log(n + m))解法改进为最优的O(n + m)时间复杂度？

主要发现

• 本文提出了首个在完全LZW压缩模式匹配中实现最优O(n + m)时间复杂度的算法，其中n和m分别为文本和模式的压缩大小。
• 该算法使用块覆盖表示法，将模式片段保持为LZW码字的前缀，从而实现高效且压缩的模式匹配。
• 通过在码字Trie上构建后缀树，该方法支持任意两个码字之间最长公共前缀查询的常数时间操作，这对实现线性时间性能至关重要。
• 通过将PREF函数与迭代压缩结合，该算法可在单次遍历中验证整个模式的潜在匹配。
• 对于周期性模式，应用了先前工作的O(n + M)算法的改进版本，并通过调整保持压缩大小下的线性时间性能。
• 该解决方案为最优解，解决了长期存在的开放问题：在LZW压缩下实现完全压缩模式匹配的线性时间复杂度。