[论文解读] PASS-JOIN: A Partition-based Method for Similarity Joins

Guoliang Li, Dong Deng+2 more|arXiv (Cornell University)|Nov 30, 2011

Data Quality and ManagementDecision Sciences参考文献 10被引用 22

一句话总结

PASS-JOIN 是一种基于划分的高效字符串相似度连接方法，适用于编辑距离约束下的字符串匹配，通过基于片段的子串选择和倒排索引技术，最小化候选对数量。该方法在短字符串和长字符串上均优于当前最先进方法，通过自适应选择子串并应用新颖的剪枝与验证技术实现。

ABSTRACT

As an essential operation in data cleaning, the similarity join has attracted considerable attention from the database community. In this paper, we study string similarity joins with edit-distance constraints, which find similar string pairs from two large sets of strings whose edit distance is within a given threshold. Existing algorithms are efficient either for short strings or for long strings, and there is no algorithm that can efficiently and adaptively support both short strings and long strings. To address this problem, we propose a partition-based method called Pass-Join. Pass-Join partitions a string into a set of segments and creates inverted indices for the segments. Then for each string, Pass-Join selects some of its substrings and uses the selected substrings to find candidate pairs using the inverted indices. We devise efficient techniques to select the substrings and prove that our method can minimize the number of selected substrings. We develop novel pruning techniques to efficiently verify the candidate pairs. Experimental results show that our algorithms are efficient for both short strings and long strings, and outperform state-of-the-art methods on real datasets.

研究动机与目标

• 解决在短字符串和长字符串上缺乏统一且高效的字符串相似度连接方法的问题。
• 在确保不遗漏任何有效匹配对的前提下，减少相似度连接中生成的候选对数量。
• 开发适用于短字符串（如姓名）和长字符串（如标题、摘要）的自适应技术，实现高效处理。
• 通过长度感知和前缀共享优化技术，提升验证阶段的效率。

提出的方法

• 提出一种划分方案，将字符串划分为多个片段，确保相似字符串至少共享一个片段。
• 利用基于片段构建的倒排索引，高效定位可能匹配的候选字符串。
• 采用位置感知和多匹配感知的子串选择策略，以最小化所选子串的数量。
• 应用基于扩展的验证方法，重用公共前缀计算，加快编辑距离检查速度。
• 在验证过程中引入剪枝和提前终止技术，减少冗余计算。
• 按排序顺序处理字符串，逐步构建索引并支持高效的候选对查找。

实验结果

研究问题

• RQ1 是否存在一种单一方法，能够高效处理短字符串和长字符串的相似度连接？
• RQ2 在编辑距离约束下，保证检测到所有有效匹配对所需的最少子串数量是多少？
• RQ3 如何在最小化重复计算的前提下，高效验证候选对？
• RQ4 剪枝和提前终止技术是否能显著降低相似度连接中的验证成本？

主要发现

• PASS-JOIN 在数据集规模上表现出近乎线性的可扩展性，当 τ=4 时，在 Author 数据集上处理 400K、500K 和 600K 条字符串的耗时分别为 360 秒、530 秒和 700 秒。
• 在 Author 数据集上，PASS-JOIN 仅使用 1.92MB 的索引空间，显著低于 ED-Join（25.34MB）和 Trie-Join（16.32MB）。
• PASS-JOIN 在真实数据集上优于 ED-Join 和 Trie-Join，在短字符串和长字符串工作负载中均表现出卓越性能。
• 多匹配感知的子串选择方法最小化了所需子串数量，理论上在候选对生成中达到最优。
• 基于扩展的验证方法结合共享前缀计算，显著减少了验证时间，尤其在长字符串上效果更明显。
• 实验结果证实 PASS-JOIN 具备良好的适应性和高效性，适用于需要支持多种字符串长度的系统。