[论文解读] Systematic assessment of the expected length, variance and distribution of Longest Common Subsequences

Kang Ning, Kwok Pui Choi|arXiv (Cornell University)|Jun 18, 2013

Algorithms and Data Compression参考文献 10被引用 3

一句话总结

本论文通过系统性的蒙特卡洛模拟研究，探讨了在多序列、非均匀字母表分布及大字母表条件下，最长公共子序列（LCS）的期望长度、方差和分布。研究验证了Chvátal-Sankoff常数γ₂的理论边界，发现方差随序列长度线性增长，并对启发式LCS算法进行了基准测试，结果表明沉积与扩展算法（Deposition and Extension）表现最佳，其结果长度平均比最优LCS长度短5–10%。

ABSTRACT

The Longest Common Subsequence (LCS) problem is a very important problem in math- ematics, which has a broad application in scheduling problems, physics and bioinformatics. It is known that the given two random sequences of infinite lengths, the expected length of LCS will be a constant. however, the value of this constant is not yet known. Moreover, the variance distribution of LCS length is also not fully understood. The problem becomes more difficult when there are (a) multiple sequences, (b) sequences with non-even distribution of alphabets and (c) large alphabets. This work focus on these more complicated issues. We have systematically analyze the expected length, variance and distribution of LCS based on extensive Monte Carlo simulation. The results on expected length are consistent with currently proved theoretical results, and the analysis on variance and distribution provide further insights into the problem.

研究动机与目标

• 填补在多序列、非均匀字母表分布及大字母表等复杂设置下，关于LCS期望长度、方差和分布的系统性实证分析的空白。
• 基于i > 2和q > 2的条件，提供Chvátal-Sankoff常数γᵢ的模拟估计与边界，扩展至广为人知的二元情况之外。
• 评估LCS方差的增长速率，以解决关于其是否随序列长度n呈线性缩放的开放性猜想。
• 利用系统性模拟结果建立启发式LCS算法的基准，以评估其性能比。
• 在模拟和真实数据集上，验证并比较最先进启发式算法（包括Long Run、Greedy、Tournament和Deposition and Extension）的性能。

提出的方法

• 通过大规模蒙特卡洛模拟，估算在多样化序列配置下的LCS期望长度、方差和分布。
• 利用有限状态自动机和马尔可夫链建模，基于自动机中的931个状态，计算γ₂的理论下界。
• 在选定的代表性序列上应用动态规划，当精确计算不可行时，计算LCS长度的上界。
• 实现并评估四种启发式算法：Long Run、Greedy、Tournament和Deposition and Extension，并进行时间与空间复杂度分析。
• 以性能比（启发式LCS长度 / 最优LCS长度）作为关键指标，比较算法的效率与准确性。
• 聚焦于非均匀字母表概率和大字母表的序列，基于字母频率对序列进行子集选择，以降低计算复杂度。

实验结果

研究问题

• RQ1 对于i > 2个序列和q > 2个字母表大小的LCS，其期望长度是多少？与理论边界相比如何？
• RQ2 LCS长度的方差如何随序列长度n增长？是否遵循线性缩放模式？
• RQ3 在非均匀字母表分布和大字母表规模下，LCS长度的分布是怎样的？
• RQ4 在各种序列配置下，启发式LCS算法相对于最优LCS长度的表现如何？
• RQ5 在模拟和真实数据集上，沉积与扩展算法的性能比与其他启发式算法相比如何？

主要发现

• 对于两组二进制序列，LCS的期望长度收敛于常数γ₂，模拟结果与理论下界和上界一致，支持γ₂ ∈ [0.773911, 0.837623]。
• LCS长度的方差随序列长度n线性增长，与早期认为其为o(n²/³)的猜想相矛盾，支持存在一个正的常数c，使得Var(|LCS|) > cn。
• 在多序列和非均匀字母表分布下，LCS的期望长度显著变化，无普遍趋势，表明其强烈依赖于序列和字母表配置。
• 沉积与扩展算法在所有启发式算法中表现最佳，其生成的LCS长度平均仅比最优长度短5–10%。
• Long Run算法表现次之，而Greedy和Tournament算法表现最差，尤其在序列数量增加时更为明显。
• 通过在频率选择的代表性序列上应用动态规划，计算了LCS长度的上界，从而实现了对大字母表或长序列的可扩展估计。