[论文解读] Speeding Up String Matching by Weak Factor Recognition

Domenico Cantone, Simone Faro+1 more|arXiv (Cornell University)|Jul 3, 2017

Algorithms and Data Compression参考文献 16被引用 4

一句话总结

本文提出Wfr算法，一种利用哈希进行弱因子识别的快速字符串匹配方法，可高效定位文本中模式的所有出现位置。尽管最坏情况时间复杂度为平方级，但其平均性能为次线性，且通过更长、更有效的跳跃位移和优化的哈希机制，在小字母表和长模式下相比现有算法最高可提升28%的性能。

ABSTRACT

String matching is the problem of finding all the substrings of a text which match a given pattern. It is one of the most investigated problems in computer science, mainly due to its very diverse applications in several fields. Recently, much research in the string matching field has focused on the efficiency and flexibility of the searching procedure and quite effective techniques have been proposed for speeding up the existing solutions. In this context, algorithms based on factors recognition are among the best solutions. In this paper, we present a simple and very efficient algorithm for string matching based on a weak factor recognition and hashing. Our algorithm has a quadratic worst-case running time. However, despite its quadratic complexity, experimental results show that our algorithm obtains in most cases the best running times when compared, under various conditions, against the most effective algorithms present in literature. In the case of small alphabets and long patterns, the gain in running times reaches 28%. This makes our proposed algorithm one of the most flexible solutions in practical cases.

研究动机与目标

• 尽管已有大量前期研究，仍需更快、更实用的字符串匹配算法以满足真实应用场景的需求。
• 通过引入一种更弱但更高效的识别模型，改进现有基于因子识别的算法。
• 设计一种简单、快速且灵活的解决方案，确保在各种输入条件下均保持高性能。
• 证明弱因子识别结合哈希可实现与强因子识别方法相当或更优的性能。
• 通过在多种模式长度、字母表及真实数据集上的实证评估，衡量该算法的效率。

提出的方法

• 提出一种基于哈希函数的弱因子识别方法，用于在文本中识别模式因子的潜在匹配。
• 在搜索阶段使用滚动哈希，高效计算子串的哈希值。
• 实现一种基于哈希比较的跳跃机制，跳过非匹配区域，从而减少不必要的字符比较。
• 引入Wfr_q变体，采用无链式循环优化，进一步提升搜索阶段性能。
• 利用哈希函数能接受模式的所有真实因子（并可能包含一些误报）的特性，依赖后续检查确保正确性。
• 使用标准基准测试，在真实序列（DNA、蛋白质、自然语言）上与最先进算法进行性能对比。

实验结果

研究问题

• RQ1 基于哈希的弱因子识别方法是否能在实际字符串匹配中优于强因子识别方法？
• RQ2 Wfr算法在不同模式长度和字母表大小下，与BNDM、BOM和BSDM等现有算法相比表现如何？
• RQ3 使用单个哈希函数与多个哈希函数相比，对误报率和整体效率有何影响？
• RQ4 尽管最坏情况时间复杂度为O(nm)，Wfr算法是否仍能实现次线性平均性能？
• RQ5 在何种输入场景下（如小字母表 vs. 大字母表，长模式 vs. 短模式），Wfr算法展现出最大的性能优势？

主要发现

• 在小字母表的长模式下，Wfr算法相比现有算法最高可实现28%的性能提升，尤其在DNA和蛋白质序列中表现突出。
• Wfr_q变体通过无链式循环优化，在中长模式（m ≥ 32）下成为最快解决方案，多数情况下优于BSDM_q和EBOM。
• 在小字母表下，性能提升最高达25%；在大字母表下，提升仍显著，最高达14%。
• 尽管最坏情况时间复杂度为O(nm)，该算法在实践中表现出次线性平均时间行为。
• 当m ≥ 256时，Wfr算法优于BSDM_q，主要得益于更长的平均跳跃位移，从而减少比较次数。
• 使用一个设计良好的单个哈希函数，可在极低开销下实现快速因子识别，使算法既简洁又高效。