[论文解读] Sorting suffixes of a text via its Lyndon Factorization

Sabrina Mantaci, Antonio Restivo+2 more|arXiv (Cornell University)|Jun 6, 2013

Algorithms and Data Compression参考文献 15被引用 5

一句话总结

本文提出了一种新颖的方法，通过利用文本的Lyndon分解来构建Burrows-Wheeler变换（BWT）和后缀数组（SA）。通过利用连续Lyndon因子内局部后缀在全局扩展时保持其相对顺序的组合性质，该方法实现了BWT和SA的增量式、在线式及可并行计算的构建，为传统基于排序的方法提供了灵活的替代方案。

ABSTRACT

The process of sorting the suffixes of a text plays a fundamental role in Text Algorithms. They are used for instance in the constructions of the Burrows-Wheeler transform and the suffix array, widely used in several fields of Computer Science. For this reason, several recent researches have been devoted to finding new strategies to obtain effective methods for such a sorting. In this paper we introduce a new methodology in which an important role is played by the Lyndon factorization, so that the local suffixes inside factors detected by this factorization keep their mutual order when extended to the suffixes of the whole word. This property suggests a versatile technique that easily can be adapted to different implementative scenarios.

研究动机与目标

• 开发一种利用文本Lyndon分解来排序后缀的新策略。
• 建立Lyndon因子内局部后缀排序与全文后缀排序之间的兼容性。
• 实现Burrows-Wheeler变换（BWT）和后缀数组（SA）的增量式与在线式构建。
• 通过解耦Lyndon因子间排序过程，支持并行化与原地实现。
• 提供一个灵活的框架，可适应外部内存和轻量级计算场景。

提出的方法

• 使用Duval的线性时间算法将文本分解为Lyndon因子。
• 关键洞察在于：一系列连续Lyndon因子内的后缀字典序在扩展到全文时保持不变。
• 通过将每个新Lyndon因子的BWT与先前处理过的因子的BWT合并，增量式构建BWT，同时保持后缀的正确相对顺序。
• 通过从左到右处理文本，实现在线算法，使得BWT可在Lyndon分解过程中逐步计算。
• 该算法使用动态数据结构支持高效的秩运算和插入操作，具有最优空间使用潜力。
• 通过独立处理Lyndon因子序列实现并行化，且可适配外部内存或原地计算。

实验结果

研究问题

• RQ1 Lyndon因子内后缀的字典序是否能在全文后缀的全局排序中保持一致？
• RQ2 如何利用Lyndon分解实现BWT和SA的增量式与在线式构建？
• RQ3 通过Lyndon分解构建BWT和SA的计算复杂度是多少？如何进行优化？
• RQ4 Lyndon因子间后缀排序的独立性在支持并行或分布式计算方面有何作用？
• RQ5 所提出的方法如何适配外部内存或原地实现？

主要发现

• 本文证明了任意连续Lyndon因子连接中局部后缀的字典序与全文后缀的全局顺序相容。
• 通过逐个处理Lyndon因子，可增量式构建BWT和SA，同时保持正确的相对顺序。
• 该算法时间复杂度为O(k²M)，其中k为Lyndon因子数量，M为最大因子长度，但可通过动态数据结构进行优化。
• 该方法支持在线算法，无需在计算前读取完整文本。
• 该方法支持并行化，因为每个Lyndon因子内的排序与其他因子相互独立。
• 该框架可适配外部内存和原地计算，具有实现轻量级、顺序I/O高效方案的潜力。