[论文解读] The Wavelet Trie: Maintaining an Indexed Sequence of Strings in Compressed Space

Roberto Grossi, Giuseppe Ottaviano|arXiv (Cornell University)|Apr 16, 2012

Network Packet Processing and Optimization参考文献 1被引用 4

一句话总结

该论文提出了Wavelet Trie，一种压缩数据结构，通过结合Patricia tries与wavelet trees，以近乎最优的空间效率高效维护一个索引字符串序列。它支持动态操作（如插入、删除和前缀查询），实现接近熵的存储占用和拟对数时间复杂度，从而在动态字符串序列中实现高空间效率和强理论保证。

ABSTRACT

An indexed sequence of strings is a data structure for storing a string sequence that supports random access, searching, range counting and analytics operations, both for exact matches and prefix search. String sequences lie at the core of column-oriented databases, log processing, and other storage and query tasks. In these applications each string can appear several times and the order of the strings in the sequence is relevant. The prefix structure of the strings is relevant as well: common prefixes are sought in strings to extract interesting features from the sequence. Moreover, space-efficiency is highly desirable as it translates directly into higher performance, since more data can fit in fast memory. We introduce and study the problem of compressed indexed sequence of strings, representing indexed sequences of strings in nearly-optimal compressed space, both in the static and dynamic settings, while preserving provably good performance for the supported operations. We present a new data structure for this problem, the Wavelet Trie, which combines the classical Patricia Trie with the Wavelet Tree, a succinct data structure for storing a compressed sequence. The resulting Wavelet Trie smoothly adapts to a sequence of strings that changes over time. It improves on the state-of-the-art compressed data structures by supporting a dynamic alphabet (i.e. the set of distinct strings) and prefix queries, both crucial requirements in the aforementioned applications, and on traditional indexes by reducing space occupancy to close to the entropy of the sequence.

研究动机与目标

• 解决对空间高效、支持索引和查询的动态数据结构的需求，以在压缩空间中存储字符串序列。
• 在字符串顺序和重复性重要的序列中，支持高效的前缀查询（例如，对公共前缀的rank和select操作）。
• 在保持接近序列熵的压缩空间占用的同时，支持动态更新（插入、删除、追加）。
• 在无需事先了解字母表的情况下，处理任意字符串集合的通用情形，通过随机哈希确保结构在高概率下保持平衡。
• 为静态和动态环境下基本操作（如access、rank和select）提供时间与空间复杂度的理论保证。

提出的方法

• 通过将Patricia trie与wavelet tree结合，对序列进行压缩，同时保持高效访问和查询操作。
• 使用随机哈希函数 $ h_a(x) = ax \mod 2^{\lceil \log u \rceil} $ 将来自通用集合 $ U $ 的元素映射为二进制字符串，以高概率确保trie的深度平衡。
• 对哈希后的字符串标签序列应用wavelet tree，实现压缩表示，并在标签上高效支持rank/select操作。
• 通过逆哈希函数将结果映射回原始值，确保操作的正确性。
• 利用先前工作的引理6.1，证明在高概率下，哈希的前 $ \ell = (\alpha+2)\log|\Sigma| $ 位可区分字母表 $ \Sigma $ 中的所有字符串，从而确保trie高度的平衡。
• 通过在哈希字符串上维护wavelet trie来支持动态操作，更新通过wavelet tree结构传播。

实验结果

研究问题

• RQ1 能否设计一种压缩数据结构，支持在接近序列熵的空间占用下对索引字符串序列进行动态操作？
• RQ2 在压缩且动态的环境下，如何高效支持前缀查询（例如，对给定前缀的字符串计数或选择）？
• RQ3 当字母表未知且可能动态增长时，该结构能否保持良好的时间复杂度？
• RQ4 仅通过随机化，能否在不显式重新平衡的情况下，实现哈希值上trie的平衡树深度？
• RQ5 在动态压缩字符串序列数据结构中，空间效率与查询/更新时间之间的权衡是什么？

主要发现

• Wavelet Trie在 $ O(\log u + h\log n) $ 时间内支持所有标准操作（Access、Rank、Select、Insert、Delete），其中 $ h \leq (\alpha+2)\log|\Sigma| $ 以高概率成立。
• 空间占用被限制在 $ O(nH_0(S) + |\Sigma|w + |\Sigma|\log u) $ 位以内，实现了序列的近熵压缩。
• 以高概率，trie的高度被限制在 $ (\alpha+2)\log|\Sigma| $ 以内，即使在任意输入集合下也能保证性能平衡。
• 使用随机哈希函数可确保所有字母表中的字符串在前 $ \ell $ 位上被区分，概率至少为 $ 1 - |\Sigma|^{-\alpha} $，从而实现结构平衡。
• 通过将wavelet tree操作扩展到哈希字符串上的基于前缀的区间，该数据结构能高效支持前缀查询（RankPrefix、SelectPrefix）。
• 该方法可推广至非字符串数据，通过将数值映射为长度为 $ \lceil \log u \rceil $ 的二进制字符串，从而适用于任意通用集合。