[论文解读] Online Pattern Matching for String Edit Distance with Moves

Yoshimasa Takabatake, Yasuo Tabei+1 more|arXiv (Cornell University)|Aug 3, 2014

Algorithms and Data Compression参考文献 18被引用 4

一句话总结

该论文提出在线编辑敏感解析（OESP），一种用于近似字符串编辑距离（含移动操作，EDM）的在线算法，可实时处理流式文本。通过使用后序单重度序列（POUDS）构建紧凑的解析树表示，并维护特征向量以实现在线L1距离计算，OESP在亚线性空间和近线性时间复杂度下实现了EDM的O(lg²N)近似，从而在大规模流式数据上实现高效的模式匹配。

ABSTRACT

Edit distance with moves (EDM) is a string-to-string distance measure that includes substring moves in addition to ordinal editing operations to turn one string to the other. Although optimizing EDM is intractable, it has many applications especially in error detections. Edit sensitive parsing (ESP) is an efficient parsing algorithm that guarantees an upper bound of parsing discrepancies between different appearances of the same substrings in a string. ESP can be used for computing an approximate EDM as the L1 distance between characteristic vectors built by node labels in parsing trees. However, ESP is not applicable to a streaming text data where a whole text is unknown in advance. We present an online ESP (OESP) that enables an online pattern matching for EDM. OESP builds a parse tree for a streaming text and computes the L1 distance between characteristic vectors in an online manner. For the space-efficient computation of EDM, OESP directly encodes the parse tree into a succinct representation by leveraging the idea behind recent results of a dynamic succinct tree. We experimentally test OESP on the ability to compute EDM in an online manner on benchmark datasets, and we show OESP's efficiency.

研究动机与目标

• 为解决在完整字符串尚未预先知晓的情况下，对流式文本计算编辑距离含移动操作（EDM）的挑战。
• 将离线编辑敏感解析（ESP）扩展至在线环境，实现在网络挖掘和生物信息学等应用中的实时模式匹配。
• 在在线流式环境中，最小化空间使用量，同时保持EDM的可证明近似比。
• 设计一种紧凑的数据结构，支持动态解析与实时高效的距离计算。

提出的方法

• OESP使用类似离线ESP的左对齐解析策略，增量构建流式文本的解析树。
• 通过维护解析树中节点标签的特征向量，实现在线方式下查询串与子串之间L1距离的计算。
• 提出一种新颖的紧凑树形表示方法——后序单重度序列（POUDS），通过后序遍历与单重编码压缩解析树。
• 该方法利用动态紧凑树技术与在线语法压缩，支持空间高效的增量更新。
• 采用参数化哈希表（参数α）以在在线解析过程中平衡时间与空间效率。
• 算法实时计算子串特征向量与查询串之间的L1距离，支持在线模式匹配。

实验结果

研究问题

• RQ1 在完整文本无法预先获取的在线流式环境中，能否高效近似计算编辑距离含移动操作（EDM）？
• RQ2 一种在线EDM算法，若维持紧凑数据结构以支持动态解析，其近似比是多少？
• RQ3 如何实现解析树的增量构建与实时压缩，以支持低空间开销的在线模式匹配？
• RQ4 离线ESP中使用的特征向量方法能否被适配用于在线计算，并保持可证明的边界？

主要发现

• OESP对编辑距离含移动操作实现了O(lg²N)的近似比，这是对精确EDM的可证明有界近似。
• 该算法的期望时间复杂度为O(N lgN lg n / (α lg lg n))，表现出与输入规模接近线性的可扩展性。
• 空间复杂度为O(n(α+1) lg(n+σ) + n lg(αn) + 5n + o(n))比特，其中n为文法中变量的数量，显示出对文本长度的亚线性依赖。
• 在200MB的DNA与英文文本流上的实验表明，OESP的工作空间随文本长度线性增长，字典与位串表示显著小于哈希表。
• 字典在DNA数据上使用115 MB，在英文数据上使用121 MB，而哈希表分别消耗368 MB与382 MB，证实了其空间效率。
• 图6显示，在特定EDM阈值附近，满足条件的子串数量急剧增加，表明OESP在识别流式数据中相似模式方面具有实际应用价值。