[论文解读] Select Your Questions Wisely: For Entity Resolution With Crowd Errors

Vijaya Krishna Yalavarthi, Xiangyu Ke+1 more|arXiv (Cornell University)|Jan 28, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 50被引用 4

一句话总结

本文提出 PERC，一种无需参数的众包实体消解框架，通过使用基于众包投票推导出的边概率的不确定图来建模工作者错误。与基于局部特征的现有方法不同，PERC 依据全局聚类可靠性来选择下一个众包问题，相比最先进方法，将实体消解准确率提升 15%，众包成本降低 50%。

ABSTRACT

Crowdsourcing is becoming increasingly important in entity resolution tasks due to their inherent complexity such as clustering of images and natural language processing. Humans can provide more insightful information for these difficult problems compared to machine-based automatic techniques. Nevertheless, human workers can make mistakes due to lack of domain expertise or seriousness, ambiguity, or even due to malicious intents. The state-of-the-art literature usually deals with human errors via majority voting or by assigning a universal error rate over crowd workers. However, such approaches are incomplete, and often inconsistent, because the expertise of crowd workers are diverse with possible biases, thereby making it largely inappropriate to assume a universal error rate for all workers over all crowdsourcing tasks. To this end, we mitigate the above challenges by considering an uncertain graph model, where the edge probability between two records A and B denotes the ratio of crowd workers who voted Yes on the question if A and B are same entity. In order to reflect independence across different crowdsourcing tasks, we apply the well-established notion of possible worlds, and develop parameter-free algorithms both for next crowdsourcing, as well as for entity resolution problems. In particular, using our framework, the problem of entity resolution becomes equivalent to finding the maximum-likelihood clustering; whereas for the next crowdsourcing, we identify the record pair that maximally increases the reliability of the maximum-likelihood clustering. Based on detailed empirical analysis over real-world datasets, we find that our proposed solution, PERC (probabilistic entity resolution with imperfect crowd) improves the quality by 15% and reduces the overall cost by 50% for the crowdsourcing-based entity resolution problem.

研究动机与目标

• 解决现有众包实体消解方法的局限性，这些方法假设统一的错误率或使用多数投票，无法考虑工作者专业知识的多样性与偏差。
• 构建一个端到端的流程，联合建模实体消解与众包错误，避免将质量保证视为独立问题。
• 通过基于全局聚类可靠性的智能选择下一个待查询记录对，最小化众包成本，同时最大化实体消解准确率。
• 消除对用户定义阈值或工作者错误率先验知识的需求，实现真实场景中的实用化部署。

提出的方法

• 将实体消解建模为不确定图，其中边的概率表示回答“是”（即两记录指向同一实体）的工作者比例。
• 使用可能世界语义表示不确定图的所有潜在一致标注，支持对工作者响应的概率推理。
• 定义一个可靠性度量，捕捉聚类内部及跨聚类的连通性，作为选择下一个最优众包问题的目标函数。
• 将下一个问题选择形式化为最大化聚类可靠性的期望提升，利用边的独立性实现高效扩展。
• 设计一种无参数算法，动态选择对整体聚类可靠性影响最大的记录对进行下一步查询。
• 将基于可靠性的选择机制与相关性聚类结合，确保对噪声或不一致工作者输入的鲁棒性。

实验结果

研究问题

• RQ1 如何在不假设统一错误率的前提下，有效建模并缓解异质工作者错误对众包实体消解的影响？
• RQ2 应依据何种标准选择下一个众包问题，以在最小化成本的同时最大化实体消解准确率？
• RQ3 全局可靠性度量是否能优于基于局部启发式度量（如路径长度或边数）来指导下一个问题的选择？
• RQ4 无参数方法在多大程度上可减少对特定领域阈值或错误率先验估计的依赖，从而提升真实世界实体消解任务的适用性？
• RQ5 在不同批量大小和数据集下，所提方法与最先进方法（如 MinMax、PC-Pivot 和 DENSE）相比，在准确率和成本效率方面表现如何？

主要发现

• 在四个真实世界数据集上，PERC 相较于最先进方法 MinMax、DENSE 和 PC-Pivot，将实体消解准确率提升了 15%。
• PERC 平均减少 50% 的众包问题数量，显著降低整体实体消解成本。
• 在 Gymnastics 数据集上，当 F1 量度为 0.9 时，PERC 相较于 PC-Pivot 将众包成本降低 55.56%，相较 MinMax 降低 38.46%。
• PERC 以更少的问题实现更高准确率，表明基于可靠性的问题选择优于基于局部特征的方法。
• 较小的批量大小可提升准确率并降低耗成本，且 PERC 在所有测试批量大小下均持续优于 bDENSE。
• PERC 的下一个问题选择时间比最先进方法快一个数量级，表明其具有极高的计算效率。