[论文解读] Representing the suffix tree with the CDAWG

Djamal Belazzougui, Fabio Cunial|arXiv (Cornell University)|May 24, 2017

Algorithms and Data Compression参考文献 11被引用 7

一句话总结

本论文提出了一种基于紧凑有向无环词图（CDAWG）的后缀树空间高效表示方法，支持关键后缀树操作（如LCA、后缀数组访问和子串提取）在O(1)至O(log n)时间内完成，同时保持O(e_T + e_{\bar{T}})个字的空间复杂度。该方法利用重路径分解，并将反转的CDAWG与T的上下文无关文法关联，实现了对T、后缀数组及相关结构的高效随机访问。

ABSTRACT

Given a string $T$, it is known that its suffix tree can be represented using the compact directed acyclic word graph (CDAWG) with $e_T$ arcs, taking overall $O(e_T+e_{\overline{T}})$ words of space, where ${\overline{T}}$ is the reverse of $T$, and supporting some key operations in time between $O(1)$ and $O(\log{\log{n}})$ in the worst case. This representation is especially appealing for highly repetitive strings, like collections of similar genomes or of version-controlled documents, in which $e_T$ grows sublinearly in the length of $T$ in practice. In this paper we augment such representation, supporting a number of additional queries in worst-case time between $O(1)$ and $O(\log{n})$ in the RAM model, without increasing space complexity asymptotically. Our technique, based on a heavy path decomposition of the suffix tree, enables also a representation of the suffix array, of the inverse suffix array, and of $T$ itself, that takes $O(e_T)$ words of space, and that supports random access in $O(\log{n})$ time. Furthermore, we establish a connection between the reversed CDAWG of $T$ and a context-free grammar that produces $T$ and only $T$, which might have independent interest.

研究动机与目标

• 设计一种压缩后缀树表示方法，以在高度重复的字符串（如基因组序列或版本控制文档）上实现高效操作。
• 通过利用CDAWG在重复文本中大小呈次线性增长的特性，将空间使用量降低至传统压缩后缀数组以下。
• 在保持最优空间复杂度的前提下，将基于CDAWG的后缀树表示扩展以支持额外查询（如后缀数组、逆后缀数组、LCP数组）。
• 建立反转CDAWG与生成T的上下文无关文法之间的正式联系，从而实现高效字符串访问。
• 仅使用O(e_T)个字的空间，实现对T、后缀数组及相关数组的O(log n)时间随机访问。

提出的方法

• 利用后缀树的重路径分解，支持高效导航与操作（如LCA、祖先、selectLeaf），时间复杂度为O(1)至O(log log n)。
• 通过CDAWG结构存储BWT区间和后缀链接，以实现对后缀数组和逆后缀数组的高效访问。
• 将反转CDAWG作为直线程序（语法）使用，生成T，从而通过语法访问查询实现在O(log n)时间内访问T[i]和T[i..j]。
• 通过CDAWG压缩后缀树，利用同构子树减少空间，并支持差分数组的语法压缩。
• 使用反转字符串¯T的RLBWT，以O(log log n)时间/字符支持边标签的遍历。
• 将基于CDAWG的表示扩展以支持额外操作（如字符串深度、父节点、后缀链接），所有操作均保持相同的渐近空间复杂度。

实验结果

研究问题

• RQ1 CDAWG能否在O(e_T + e_{\bar{T}})个字的空间内表示后缀树，同时支持关键操作在O(1)至O(log log n)时间内完成？
• RQ2 能否仅使用O(e_T)个字的空间，实现在O(log n)时间内对T、后缀数组和逆后缀数组的随机访问？
• RQ3 反转CDAWG与生成T的上下文无关文法之间是否存在正式联系？该联系能否用于实现高效字符串访问？
• RQ4 能否在不增加空间复杂度的前提下，支持LCA、祖先和后缀链接操作在O(1)至O(log log n)时间内完成？
• RQ5 在保持相同空间预算的前提下，能否降低随机访问中的O(log n)项，或该项是否在渐近意义上不可避免？

主要发现

• 后缀树可使用O(e_T + e_{\bar{T}})个字的空间表示，其中e_T为T的CDAWG中边的数量，从而在高度重复字符串中实现次线性空间增长。
• 关键操作（如LCA、leftmostLeaf和selectLeaf）可在O(1)至O(log log n)时间内完成，优于以往某些操作的O(log n)时间界限。
• 通过将反转CDAWG作为语法使用，T[i]和T[i..j]的随机访问时间分别为O(log n)和O(log n + j−i)。
• 反转CDAWG与生成T的上下文无关文法之间存在正式联系，为差分数组的语法压缩提供了理论基础。
• 后缀数组、逆后缀数组和LCP数组均可使用O(e_T)个字表示，且支持O(log n)时间随机访问，空间效率与CDAWG相当。
• 该方法可在仅使用O(e_T)空间的前提下，以O(m log n)时间高效计算匹配统计量和某些子串核函数，适用于重复字符串应用。