[论文解读] Time-Space Trade-Offs for Longest Common Extensions

Philip Bille, Inge Li Goertz+2 more|arXiv (Cornell University)|Nov 1, 2012

Algorithms and Data Compression参考文献 19被引用 7

一句话总结

本文提出了最长公共扩展（LCE）问题的平滑时空权衡，构建了使用 $ O(n/\tau) $ 空间并在 $ O(\tau \log(|Σ\mathrm{LCE}(i,j)|/\tau)) $ 时间内回答查询的数据结构，或使用 $ O(n/\sqrt{\tau}) $ 空间并在 $ O(\tau) $ 时间内回答查询。核心贡献是实现了一种近乎最优的权衡，统一并改进了以往的极端情况，其在字符串匹配和回文检测中具有应用价值。

ABSTRACT

We revisit the longest common extension (LCE) problem, that is, preprocess a string $T$ into a compact data structure that supports fast LCE queries. An LCE query takes a pair $(i,j)$ of indices in $T$ and returns the length of the longest common prefix of the suffixes of $T$ starting at positions $i$ and $j$. We study the time-space trade-offs for the problem, that is, the space used for the data structure vs. the worst-case time for answering an LCE query. Let $n$ be the length of $T$. Given a parameter $τ$, $1 \leq τ\leq n$, we show how to achieve either $O(\infrac{n}{\sqrtτ})$ space and $O(τ)$ query time, or $O(\infrac{n}τ)$ space and $O(τ\log({|\LCE(i,j)|}/τ))$ query time, where $|\LCE(i,j)|$ denotes the length of the LCE returned by the query. These bounds provide the first smooth trade-offs for the LCE problem and almost match the previously known bounds at the extremes when $τ=1$ or $τ=n$. We apply the result to obtain improved bounds for several applications where the LCE problem is the computational bottleneck, including approximate string matching and computing palindromes. We also present an efficient technique to reduce LCE queries on two strings to one string. Finally, we give a lower bound on the time-space product for LCE data structures in the non-uniform cell probe model showing that our second trade-off is nearly optimal.

研究动机与目标

• 解决最长公共扩展（LCE）问题缺乏平滑时空权衡的问题，该问题在字符串算法中是一个瓶颈。
• 设计在空间使用和查询时间之间取得平衡的数据结构，插值于两种已知极端情况之间：$ O(n) $ 空间与 $ O(1) $ 查询时间，以及 $ O(1) $ 空间与 $ O(n) $ 查询时间。
• 通过结合差分覆盖、紧凑 tries 和范围最小值查询约简，实现近乎最优的权衡。
• 提供具有可证明性能界限的随机化（蒙特卡洛和拉斯维加斯）与确定性解法。
• 建立下界，表明任何 $ O(n/\tau) $-空间的LCE数据结构都需 $ \Omega(\tau) $ 的查询时间，从而证明该权衡的近乎最优性。

提出的方法

• 使用差分覆盖对字符串 $ T $ 的 $ O(n/\sqrt{\tau}) $ 个后缀进行采样，通过带有最近公共祖先（NCA）查询的紧凑 tries 实现高效的LCE计算。
• 对于 $ O(n/\tau) $-空间解法，将字符串划分为大小为 $ \tau $ 的块，预计算块代表元素之间的LCE值，并使用递归结构在 $ O(\tau \log(|Σ\mathrm{LCE}|/\tau)) $ 时间内回答查询。
• 通过在字符串间使用唯一分隔符连接并利用指纹技术高效比较子串，将双字符串LCE查询约简为单字符串LCE查询。
• 通过将范围最小值查询（RMQ）约简为LCE，证明下界：任何 $ O(n/\tau) $-空间的LCE结构必须使用 $ \Omega(\tau) $ 的查询时间。
• 利用随机指纹技术，支持拉斯维加斯变体的 $ O(n\log n) $ 预处理时间和 $ O(n) $ 空间，且具有高概率正确性。
• 结合基于块的采样与采样后缀上的LCE计算，实现空间与查询时间之间的权衡。

实验结果

研究问题

• RQ1 能否为LCE问题实现平滑的时空权衡，使其在两种已知极端情况之间插值：$ O(n) $ 空间与 $ O(1) $ 查询时间，以及 $ O(1) $ 空间与 $ O(n) $ 查询时间？
• RQ2 能否设计一种使用 $ O(n/\tau) $ 空间并在 $ O(\tau \log(|Σ\mathrm{LCE}(i,j)|/\tau)) $ 时间内支持LCE查询的数据结构，且具有高效的预处理？
• RQ3 LCE数据结构的时间-空间乘积的理论下界是什么？实际构造能多接近这一下界？
• RQ4 双字符串LCE查询能否以最小开销约简为单字符串LCE查询，特别是在一个字符串远短于另一个字符串时？
• RQ5 能否在保持 $ O(n\log n) $ 时间和 $ O(n) $ 空间的同时，将 $ O(n/\tau) $-空间解法的随机化预处理去随机化？

主要发现

• 本文提出了一种使用 $ O(n/\sqrt{\tau}) $ 空间和 $ O(\tau) $ 查询时间的时空权衡，当 $ \tau = 1 $ 时与已知的 $ O(1) $-时间、$ O(n) $-空间解法一致，当 $ \tau = n $ 时与 $ O(n) $-时间、$ O(1) $-空间解法一致。
• 当 $ \tau = \sqrt{n} $ 时，$ O(n/\sqrt{\tau}) $-空间解法使用 $ O(n^{3/4}) $ 空间和 $ O(\sqrt{n}) $ 查询时间，实现了平滑插值。
• 第二种权衡使用 $ O(n/\tau) $ 空间和 $ O(\tau \log(|Σ\mathrm{LCE}(i,j)|/\tau)) $ 查询时间，拉斯维加斯变体的预处理时间为 $ O(n) $。
• 本文证明了在非均匀单元探测模型下，任何 $ O(n/\tau) $-空间的LCE数据结构都需 $ \Omega(\tau) $ 的查询时间，表明该权衡近乎最优。
• 从RMQ到LCE的约简表明，该时空权衡在最优解的 $ \log^2 n $ 因子范围内，仍留下开放问题：能否缩小这一差距？
• 双字符串LCE的约简使得该权衡能够结合字符串大小差异，当一个字符串显著短于另一个时，可实现更好的性能。