[论文解读] Sequence Covering Similarity for Symbolic Sequence Comparison

Pierre-François Marteau|arXiv (Cornell University)|Jan 22, 2018

Natural Language Processing Techniques参考文献 3被引用 3

一句话总结

本文提出序列覆盖相似度，一种基于参考集最优子序列覆盖的符号序列新型成对距离度量。该方法定义了一种时间复杂度为 O(n log n) 的半度量，优于 Levenshtein 距离的 O(n²)，并在抄袭检测中表现出色，对复制文本片段的相似度评分较高。

ABSTRACT

This paper introduces the sequence covering similarity, that we formally define for evaluating the similarity between a symbolic sequence (string) and a set of symbolic sequences (strings). From this covering similarity we derive a pair-wise distance to compare two symbolic sequences. We show that this covering distance is a semimetric. Few examples are given to show how this string metric in $O(n \cdot log n)$ compares with the Levenshtein's distance that is in $O(n^2)$. A final example presents its application to plagiarism detection.

研究动机与目标

• 开发一种新型高效的符号序列相似度度量，以补充 Levenshtein 距离等现有方法。
• 形式化利用参考序列集作为可重用子序列字典的序列覆盖概念。
• 定义一种基于覆盖相似度的成对距离度量，满足半度量性质。
• 通过真实文本示例在抄袭检测等应用中展示其实际效用。
• 提供一种利用后缀数据结构计算最优覆盖的高效算法，实现可扩展性。

提出的方法

• 将序列覆盖定义为从参考集 S 中选出的、能完全且正确覆盖目标序列 s 的最小多重子序列集。
• 将序列覆盖相似度形式化为 $ \mathscr{S}(s,S) = \frac{|s| - |c^{*}_{S}(s)| + 1}{|s|} $，其中 $ |c^{*}_{S}(s)| $ 表示最优覆盖中的子序列数量。
• 从相似度度量推导出成对距离：$ d(s_1, s_2) = 1 - \mathscr{S}(s_1, S) $，其中 S 是包含 s₂ 的集合。
• 实现一种增量贪心算法，通过在当前位置反复选择 S_sub 中最长的子序列，计算 S-最优覆盖。
• 利用后缀树或后缀数组实现高效的子序列查找，从而实现 O(n log n) 的时间复杂度。
• 通过比较覆盖相似度与 Levenshtein 距离，将该方法应用于真实文本对，包括抄袭检测。

实验结果

研究问题

• RQ1 基于子序列的覆盖方法是否能产生比传统编辑距离方法更高效且更有意义的相似度度量？
• RQ2 所提出的覆盖距离是否在符号序列空间上构成有效的半度量？
• RQ3 在真实文本数据上，序列覆盖相似度与 Levenshtein 距离相比表现如何？
• RQ4 该方法在抄袭检测场景中检测复制文本片段的能力如何？
• RQ5 能否利用后缀数组等高级字符串数据结构实现该方法的高效扩展？

主要发现

• 序列覆盖相似度实现了 O(n log n) 的时间复杂度，对于长序列显著快于 Levenshtein 的 O(n²)。
• 覆盖距离被形式化证明为半度量，满足非负性、不可区分元素的同一性以及对称性。
• 对于序列 s₃ = [0,0,0,0,1,1,1,1,0,0,0,0,1,1,1,1]，相似度得分为 13/16 = 0.8125，而 s₄ 得分为 9/16 = 0.5625，正确反映了其结构相似性。
• 在抄袭检测中，该方法对一段复制文本的覆盖相似度为 0.801，距离为 0.219，表明与源材料高度一致。
• 即使措辞略有变化，该方法仍能成功识别出复制文本，如最优覆盖能捕捉关键短语，尽管存在轻微改写。
• 最优覆盖的非唯一性可能导致子串中出现微小差异，但通过轻量级后处理可有效解决此类问题。