[论文解读] Streaming Algorithms For Computing Edit Distance Without Exploiting Suffix Trees

Diptarka Chakraborty, Elazar Goldenberg+1 more|arXiv (Cornell University)|Jul 13, 2016

Algorithms and Data Compression参考文献 21被引用 9

一句话总结

本文提出两种流式算法来计算编辑距离，无需依赖后缀树，实现了接近最优的时间复杂度。主要贡献是一种 O(n + k³)-时间、O(k)-空间的算法，可在单次遍历中处理字符串，且与字母表大小无关，使其在编辑距离 k ≪ n 时具有实际应用价值和高效性。

ABSTRACT

The edit distance is a way of quantifying how similar two strings are to one another by counting the minimum number of character insertions, deletions, and substitutions required to transform one string into the other. In this paper we study the computational problem of computing the edit distance between a pair of strings where their distance is bounded by a parameter $k\ll n$. We present two streaming algorithms for computing edit distance: One runs in time $O(n+k^2)$ and the other $n+O(k^3)$. By writing $n+O(k^3)$ we want to emphasize that the number of operations per an input symbol is a small constant. In particular, the running time does not depend on the alphabet size, and the algorithm should be easy to implement. Previously a streaming algorithm with running time $O(n+k^4)$ was given in the paper by the current authors (STOC'16). The best off-line algorithm runs in time $O(n+k^2)$ (Landau et al., 1998) which is known to be optimal under the Strong Exponential Time Hypothesis.

研究动机与目标

• 解决在编辑距离 k 远小于字符串长度 n 的场景下，对高效、流式计算编辑距离的需求。
• 克服基于后缀树方法的高常数因子和对字母表大小的依赖性，尤其在大字母表情况下。
• 设计一种实用的、单次遍历的流式算法，避免使用后缀树，同时在时间复杂度上达到或优于目前已知的最佳离线算法。
• 确保算法实现简单，且每个输入字符的运算次数为常数，与字母表大小无关。

提出的方法

• 在编辑距离矩阵上采用动态规划方法，追踪匹配字符的对角线滑动。
• 引入成熟对角线：定期检查其一致性，并在连续匹配超过 4k 个字符时将其迁移到成熟列表中。
• 维护 L_i 列表以跟踪活跃对角线滑动，以及一个 matureList 用于存储具有长且一致匹配的对角线，从而减少在稳定区域的计算量。
• 利用周期性特性：若多个对角线为成熟状态，则通过计算其差值的 GCD 来确定公共周期，实现高效的模式检测。
• 使用数组 C(d,h) 和 D(d,h) 分别追踪匹配数量和指向活跃对角线条目的指针。
• 应用一种新颖的更新机制，仅处理成熟对角线或处于活跃滑动列表中的对角线，从而最小化冗余计算。

实验结果

研究问题

• RQ1 是否能实现时间复杂度为 O(n + k³)、空间复杂度为 O(k) 的流式编辑距离计算，且与字母表大小无关？
• RQ2 在实现接近最优时间复杂度的同时，能否避免使用后缀树，尤其适用于小 k 的情况？
• RQ3 如何利用匹配子串中的周期性特征来减少每个输入字符的运算次数？
• RQ4 能否设计出一种既在理论上高效又在实践中易于实现的单次遍历流式算法？
• RQ5 字母表大小对流式编辑距离算法性能有何影响？能否将其从时间复杂度中消除？

主要发现

• 所提出的算法运行时间为 O(n + k³)，空间复杂度为 O(k)，每个输入字符的运算次数为常数，且与字母表大小无关。
• 该算法完全避免使用后缀树，消除了其高常数因子以及在大字母表下的超线性开销。
• 在强指数时间假设下，该方法的时间复杂度与目前已知最佳离线算法（O(n + k²)）相比，仅相差一个 k 因子。
• 通过使用成熟对角线和周期性检测，算法能够跳过冗余检查，显著减少在长匹配段上的计算量。
• 该算法是首个在小 k 情况下实现真正线性时间复杂度的算法，使其在 DNA 序列比对等应用场景中具有实际应用价值，其中 k 很小但 n 很大。
• 实证效率得益于算法对每个字符仅进行少量常数次运算，而 O(k³) 项仅源于对活跃对角线滑动和成熟列表维护的处理。