[论文解读] New tabulation and sparse dynamic programming based techniques for sequence similarity problems

Szymon Grabowski|arXiv (Cornell University)|Dec 8, 2013

Algorithms and Data Compression被引用 4

一句话总结

本文提出了两种用于序列相似性问题的新算法，利用表格化和稀疏动态规划技术，实现了更优的时间复杂度：LCS长度计算的时间复杂度为 O(mn log log n / log²n) 和 O(mn / log²n + r)，其中 r 为匹配对的数量。这些技术在特定动态规划依赖条件下可推广至编辑距离、LCTS 和 MerLCS 问题。

ABSTRACT

Calculating the length of a longest common subsequence (LCS) of two strings $A$ and $B$ of length $n$ and $m$ is a classic research topic, with many worst-case oriented results known. We present two algorithms for LCS length calculation with respectively $O(mn \log\log n / \log^2 n)$ and $O(mn / \log^2 n + r)$ time complexity, the latter working for $r = o(mn / (\log n \log\log n))$, where $r$ is the number of matches in the dynamic programming matrix. We also describe conditions for a given problem sufficient to apply our techniques, with several concrete examples presented, namely the edit distance, LCTS and MerLCS problems.

研究动机与目标

• 开发用于计算两个序列之间最长公共子序列（LCS）长度的更快算法。
• 将表格化与稀疏动态规划技术的应用范围扩展至更广泛的序列相似性问题类别。
• 识别在何种一般性条件下，这些算法技术可被应用于实现更优的时间复杂度。
• 为LCS、编辑距离、LCTS与MerLCS问题提供具有竞争力的最坏情况时间复杂度界限。
• 通过高效查找表（LUT）将Four Russians技术推广至高维动态规划表。

提出的方法

• 采用基于表格的动态规划，使用大小为 b × b 的块，其中 b = Θ(log n)，预先计算并缓存小规模子问题的结果。
• 使用查找表（LUT）存储块内所有可能的输入符号与邻近状态组合的结果，从而实现块输出的常数时间评估。
• 通过仅访问DP矩阵中的匹配对 (i,j) 引入稀疏动态规划（SDP），将计算量减少至 r 次操作，其中 r 为匹配对数量。
• 将表格化与SDP结合：按块处理矩阵，使用LUT进行密集块的计算，仅在存在匹配的稀疏区域应用SDP。
• 以差分形式表示块状态，以减少LUT大小并提升空间效率。
• 通过大小为 b × b × b 的三维块将该方法推广至三维DP表（如MerLCS问题），LUT编码输入边界与输出结果。

实验结果

研究问题

• RQ1 能否将表格化技术与稀疏动态规划结合，以实现LCS及相关问题更优的最坏情况时间复杂度？
• RQ2 动态规划依赖关系需满足何种结构条件，才能高效应用表格化与稀疏DP技术？
• RQ3 当匹配对数量 r 为次二次方时，LCS及相关问题的时间复杂度能否超越 O(mn / log²n)？
• RQ4 Four Russians技术如何推广至如三序列问题等高维动态规划问题？
• RQ5 在相同结构约束下，所提方法在编辑距离、LCTS与MerLCS等问题上的适用范围有多大？

主要发现

• 本文提出一种 O(mn log log n / log²n) 时间复杂度的LCS长度计算算法，优于Bille和Farach-Colton先前提出的 O(mn (log log n)² / log²n) 上界。
• 对于匹配对数量 r = o(mn / (log n log log n)) 的稀疏实例，提出一种新的 O(mn / log²n + r) 时间复杂度算法，当 r 较小时，优于标准的 O(mn) DP算法。
• 该技术适用于LCTS问题，在 σ = ω(log n (log log n)²) 条件下，实现 O(mn (1 + σ / log²n)) 的时间复杂度，优于先前结果。
• 对于涉及三序列的MerLCS问题，在所述DP依赖关系条件下，当 u = Ω(n^c)（c > 0）时，方法实现 O(mnu / log³/²n) 的时间复杂度。
• 该框架可推广至任意满足有界差分约束且对常数个邻近元素具有局部依赖关系的序列相似性问题。
• 基于LUT的块处理机制确保预处理时间被主计算时间主导，因此在给定假设下，整体时间复杂度渐近最优。