[论文解读] Restructuring Compressed Texts without Explicit Decompression

Keisuke Goto, Shirou Maruyama+4 more|arXiv (Cornell University)|Jul 14, 2011

Algorithms and Data Compression参考文献 27被引用 5

一句话总结

本文提出了首个无需显式解压缩即可重构压缩文本的多项式时间算法，实现了在各种压缩表示形式（如LZ77、LZ78、RLE、SLPs及基于语法的格式）之间的高效转换，相较于基于解压缩的方法具有理论上的速度优势。核心贡献在于所有转换操作的时间复杂度在压缩输入与输出大小的多项式时间内完成，与先解压缩的方法相比，在最坏情况下实现了指数级的速度提升。

ABSTRACT

We consider the problem of {\em restructuring} compressed texts without explicit decompression. We present algorithms which allow conversions from compressed representations of a string $T$ produced by any grammar-based compression algorithm, to representations produced by several specific compression algorithms including LZ77, LZ78, run length encoding, and some grammar based compression algorithms. These are the first algorithms that achieve running times polynomial in the size of the compressed input and output representations of $T$. Since most of the representations we consider can achieve exponential compression, our algorithms are theoretically faster in the worst case, than any algorithm which first decompresses the string for the conversion.

研究动机与目标

• 开发一种无需解压缩即可处理和转换压缩字符串的框架，实现比传统基于解压缩的方法更快的计算性能。
• 解决在数据挖掘、机器学习及压缩模式匹配等应用中对动态可调压缩文本表示的需求。
• 通过支持在不同压缩表示之间高效转换，实现在压缩域中对最优压缩格式的后选选择。
• 通过支持高效更新与重构操作，实现对动态压缩文本数据结构的支持。
• 通过将多种压缩格式统一于单一高效转换框架下，拓展压缩字符串处理的适用范围。

提出的方法

• 该方法利用范围可搜索的点集和字典树等高级数据结构，高效定位压缩表示中的子串与嵌入关系。
• 采用递归嵌入技术识别压缩形式中的最大重复与子串，实现在不进行解压缩的情况下完成因子分解。
• 算法采用基于证据的解析方法，通过范围查询与压缩子串中的后缀-前缀匹配验证每个因子。
• 对于LZ77与LZ78之间的转换，该方法通过后缀上的二分查找与证据树，实现每步操作在对数时间内定位下一个因子。
• 对于RLE到ESP及ESP到Bisection的转换，该方法通过迭代替换最大重复项，结合整数编码的运行长度与对数时间的嵌入检查。
• 该框架通过动态范围查询与平衡解析，统一集成编辑敏感解析（ESP）与直线程序（SLPs），确保时间复杂度为多项式时间。

实验结果

研究问题

• RQ1 是否可以在不显式解压缩的情况下，实现压缩字符串表示之间的相互转换，同时保持多项式时间复杂度？
• RQ2 此类压缩格式转换相较于先解压缩的方法，在理论性能上能获得多大提升？
• RQ3 如何通过重构操作高效支持压缩字符串上的动态编辑操作？
• RQ4 是否能在压缩域中高效实现最优压缩格式的后选选择？
• RQ5 实现多种压缩格式之间高效无损转换所需的最小数据结构与算法是什么？

主要发现

• 本文首次提出可在不解压输入的前提下，实现LZ77、LZ78、RLE、SLPs及基于语法格式之间相互转换的算法，且运行时间在压缩输入与输出大小的多项式时间内完成。
• 将大小为 $ n $ 的规范SLP转换为LZ78的算法时间复杂度为 $ O(m\log^3 N + n) $，其中 $ m $ 为LZ78因子数量，$ N $ 为字符串长度。
• 从RLE到编辑敏感解析（ESP）的转换耗时 $ O(n\log^* N) $，其中 $ n $ 为RLE的大小，性能接近线性。
• 从ESP到Bisection SLPs的转换耗时 $ O(m\log^2 N) $，其中 $ m $ 为生成SLP的大小，表明对平衡语法构造具有高效处理能力。
• 从SLPs进行LZ77因子分解的算法耗时 $ O(m\log^2 n \log^3 N + n\log^2 n) $，即使在大规模输入下也表现出良好的可扩展性。
• 所有提出的算法在理论上均优于基于解压缩的方法，尤其在压缩比达到指数级的最坏情况下表现显著。