[论文解读] Parallel Sorted Neighborhood Blocking with MapReduce

Lars Kolb, Andreas Thor+1 more|arXiv (Cornell University)|Oct 15, 2010

Data Quality and ManagementDecision Sciences参考文献 1被引用 17

一句话总结

本文提出了两种基于MapReduce的并行实现——JobSN和RepSN——用于实体识别中的排序邻域阻塞，实现了大规模数据集的可扩展、高效处理。通过使用多个MapReduce作业或定制的数据复制，这些方法相比串行方法显著减少了执行时间，尤其在数据倾斜和不同窗口大小的情况下表现出线性可扩展性。

ABSTRACT

Cloud infrastructures enable the efficient parallel execution of data-intensive tasks such as entity resolution on large datasets. We investigate challenges and possible solutions of using the MapReduce programming model for parallel entity resolution. In particular, we propose and evaluate two MapReduce-based implementations for Sorted Neighborhood blocking that either use multiple MapReduce jobs or apply a tailored data replication.

研究动机与目标

• 利用MapReduce模型实现在大规模数据集上的高效、可扩展的实体识别。
• 解决在分布式MapReduce环境中实现排序邻域阻塞所面临的挑战。
• 设计并评估两种不同的并行化策略——多作业与数据复制——用于排序邻域阻塞。
• 分析在分布式执行下数据倾斜和不同窗口大小对性能的影响。
• 证明MapReduce能够有效支持如实体识别等复杂数据密集型工作流。

提出的方法

• JobSN使用两个MapReduce作业：第一个作业按阻塞键对实体进行排序和分区，第二个作业重新分区并在各区块内应用滑动窗口匹配。
• RepSN采用单个MapReduce作业，通过自定义map配置和close函数，利用内存中的数据复制在mapper之间保持滑动窗口状态。
• 两种方法均使用复合键（例如，reducer_id.blocking_key）以确保滑动窗口评估的正确分组与排序。
• 分区函数将阻塞键映射到reducer，确保节点间负载均衡与正确数据洗牌。
• 在reduce阶段应用大小为w的滑动窗口，仅在排序顺序中相邻的实体之间生成候选匹配。
• RepSN为每个reducer维护一个最后w−1个实体的缓冲区，以实现mapper边界之间的窗口连续性，使用最小堆逻辑进行替换。

实验结果

研究问题

• RQ1 排序邻域阻塞能否通过MapReduce模型在大规模实体识别中实现有效并行化？
• RQ2 在性能与可扩展性方面，基于MapReduce的不同设计（多作业 vs. 数据复制）有何差异？
• RQ3 数据倾斜对MapReduce中并行排序邻域阻塞性能有何影响？
• RQ4 窗口大小如何影响所提方法的执行时间和负载分布？
• RQ5 所提方法在实现大规模数据集线性加速的同时，能否保持正确性与匹配质量？

主要发现

• JobSN在数据规模增加时表现出线性可扩展性，与串行方法相比，在大规模数据集上执行时间最多减少80%。
• 在数据倾斜较高的场景下，RepSN优于JobSN，由于通过内存中复制实现更好的负载均衡，执行时间最多减少40%。
• 两种方法均保持了较高的匹配质量，召回率与精确率与串行排序邻域方法相当。
• 随着窗口大小增加，两种方法的性能均有所下降，但RepSN在不同窗口大小下表现出更稳定的性能。
• 数据倾斜显著影响JobSN的性能，因其reducer负载不均；而RepSN通过智能数据复制与缓冲区管理缓解了该问题。
• 评估结果证实，当结合自定义分区与窗口处理策略进行优化时，MapReduce能够有效支持复杂实体识别工作流。