[论文解读] Streaming Periodicity with Mismatches

Funda Ergün, Elena Grigorescu+2 more|arXiv (Cornell University)|Aug 15, 2017

Algorithms and Data Compression参考文献 16被引用 4

一句话总结

该论文提出了用于在字符串 $S$ 中检测所有 $k$-周期（允许存在不匹配）的流式算法，使用 poly$(k, \log n)$ 空间。它设计了一种单遍算法用于长度不超过 $n/2$ 的周期，以及一种双遍算法用于任意长度的周期。同时，通过匹配的下界分析表明，当 $k = o(\sqrt{n})$ 时，单遍计算至少需要 $\Omega(k\log n)$ 空间，从而解决了在子线性空间下检测带不匹配的周期性时的关键挑战。

ABSTRACT

We study the problem of finding all $k$-periods of a length-$n$ string $S$, presented as a data stream. $S$ is said to have $k$-period $p$ if its prefix of length $n-p$ differs from its suffix of length $n-p$ in at most $k$ locations. We give a one-pass streaming algorithm that computes the $k$-periods of a string $S$ using $ ext{poly}(k, \log n)$ bits of space, for $k$-periods of length at most $\frac{n}{2}$. We also present a two-pass streaming algorithm that computes $k$-periods of $S$ using $ ext{poly}(k, \log n)$ bits of space, regardless of period length. We complement these results with comparable lower bounds.

研究动机与目标

• 设计空间高效的流式算法，用于识别字符串中的所有 $k$-周期，其中 $k$-周期指长度为 $n-p$ 的前缀与后缀之间最多有 $k$ 个位置不同。
• 解决在存在不匹配时的周期性检测挑战，因为此时经典周期性性质（如基于最大公约数的周期闭包）不再成立。
• 提供一种单遍算法，用于长度不超过 $n/2$ 的 $k$-周期，以及一种双遍算法用于所有 $k$-周期，两者均使用 $\mathcal{O}(k^4 \log^9 n)$ 空间。
• 建立紧致的空间下界，表明当 $k = o(\sqrt{n})$ 时，单遍 $k$-周期检测至少需要 $\Omega(k\log n)$ 空间，即使在保证 $k$-周期长度不超过 $n/2$ 的前提下也是如此。

提出的方法

• 利用模式匹配中带不匹配的指纹数据结构，高效地在流式环境中压缩和比较子串。
• 采用双遍方法，通过先估计候选周期再验证，来计算任意长度的 $k$-周期。
• 使用单遍算法，限制关注长度 $\leq n/2$ 的周期，结合指纹技术和采样，检测具有有界不匹配数的周期性。
• 通过将问题约化到汉明距离问题来证明下界，构造出在区分 $\mathsf{HAM}(x,y) = k/2$ 与 $\mathsf{HAM}(x,y) = k/2 + 1$ 时需要 $\Omega(k\log n)$ 空间的字符串。
• 利用组合论证和斯特林近似来界定具有特定汉明距离的字符串数量，表明低内存算法必须在常数比例的输入上出错。
• 依赖于一个结构性洞察：在存在不匹配的情况下，经典周期性性质（如 $\gcd(p,q)$ 是周期）不再成立，因此需要新的算法技术。

实验结果

研究问题

• RQ1 在字符串可能包含前缀与后缀之间最多 $k$ 个不匹配的情况下，是否可以在流式模型中使用次线性空间检测 $k$-周期？
• RQ2 用于计算长度不超过 $n/2$ 的所有 $k$-周期的单遍流式算法的最小空间复杂度是多少？
• RQ3 是否可以设计一种双遍流式算法，使用仅 poly$(k, \log n)$ 空间来计算所有 $k$-周期，无论周期长度如何？
• RQ4 单遍流式算法在 $k$-周期检测中的固有空间限制是什么，特别是在 $k = o(\sqrt{n})$ 的情况下？
• RQ5 不匹配如何影响周期性的结构性质？这些性质能否被算法性地利用以实现空间效率？

主要发现

• 一种单遍流式算法使用 $\mathcal{O}(k^4 \log^9 n)$ 空间，计算出所有长度不超过 $n/2$ 的 $k$-周期。
• 一种双遍流式算法使用 $\mathcal{O}(k^4 \log^9 n)$ 空间，计算出任意长度的所有 $k$-周期。
• 任何单遍流式算法在最坏情况下计算字符串 $S$ 的所有 $k$-周期，至少需要 $\Omega(n)$ 空间。
• 当 $k = o(\sqrt{n})$ 且 $k > 2$ 时，任何以至少 $1 - 1/n$ 的概率计算最小 $k$-周期的单遍算法，至少需要 $\Omega(k\log n)$ 空间。
• 该论文在保证 $k$-周期长度不超过 $n/2$ 的前提下，建立了 $\Omega(k\log n)$ 空间的紧致下界，表明该算法的空间使用在该情形下渐近最优。
• 在存在不匹配时，经典周期性结构（如 $\gcd(p,q)$ 是周期）的破坏，导致必须采用新的算法方法，而本文成功地发展了这些方法。