[论文解读] Unsupervised String Transformation Learning for Entity Consolidation

Dong Deng, Wenbo Tao+8 more|arXiv (Cornell University)|Sep 29, 2017

Data Quality and Management被引用 3

一句话总结

本文提出了一种用于实体合并的无监督字符串转换学习方法，该方法通过聚类将变体属性值（例如 'Mary Lee' 和 'Lee, Mary'）分组为转换等价对，然后通过最少的人工反馈验证这些分组。在包含17,497条记录的真实世界数据集中，该方法仅使用100次人工验证问题，便实现了75%的召回率和99.5%的精确率，显著优于当前最先进的数据清洗工具。

ABSTRACT

Data integration has been a long-standing challenge in data management with many applications. A key step in data integration is entity consolidation. It takes a collection of clusters of duplicate records as input and produces a single "golden record" for each cluster, which contains the canonical value for each attribute. Truth discovery and data fusion methods, as well as Master Data Management (MDM) systems, can be used for entity consolidation. However, to achieve better results, the variant values (i.e., values that are logically the same with different formats) in the clusters need to be consolidated before applying these methods. For this purpose, we propose a data-driven method to standardize the variant values based on two observations: (1) the variant values usually can be transformed to the same representation (e.g., "Mary Lee" and "Lee, Mary") and (2) the same transformation often appears repeatedly across different clusters (e.g., transpose the first and last name). Our approach first uses an unsupervised method to generate groups of value pairs that can be transformed in the same way (i.e., they share a transformation). Then the groups are presented to a human for verification and the approved ones are used to standardize the data. In a real-world dataset with 17,497 records, our method achieved 75% recall and 99.5% precision in standardizing variant values by asking a human 100 yes/no questions, which completely outperformed a state of the art data wrangling tool.

研究动机与目标

• 解决在实体合并前对重复记录簇中变体属性值进行标准化的挑战。
• 通过无监督学习对语义等价的值对进行分组，以减少人工验证字符串转换所需的工作量。
• 通过在生成黄金记录之前对变体格式进行标准化，提高下游实体合并方法的准确性。
• 开发一种可扩展的人机协同方法，在最大限度减少人工工作量的同时确保转换的正确性。

提出的方法

• 该方法首先从同一簇中提取所有值对作为候选替换项。
• 应用无监督聚类算法，将具有相同转换模式（例如姓名重排、缩写扩展）的候选替换项分组。
• 按组的大小对组进行排序，并通过“是/否”界面呈现给人类进行验证。
• 仅将人类标记为正确的组用于对原始数据应用标准化转换。
• 该方法对少量错误分组具有鲁棒性，即使在人工反馈有限的情况下也能保持高精确率。
• 最终的标准化数据可提升基于真相发现、数据融合或MDM系统的实体合并准确性。

实验结果

研究问题

• RQ1 无监督聚类能否有效将具有相同转换逻辑的变体值分组？
• RQ2 如何在保持高精确率的同时最小化人工反馈以识别有效的转换组？
• RQ3 对变体值进行标准化在多大程度上能提升下游实体合并方法的性能？
• RQ4 与当前最先进的数据清洗工具相比，该方法在准确率和人工工作量方面表现如何？

主要发现

• 在包含17,497条记录的真实世界数据集中，该方法仅使用100次人工验证问题，便实现了75%的召回率和99.5%的精确率。
• 该方法在准确率和效率方面均显著优于当前最先进的数据清洗工具。
• 对转换等价值对的无监督聚类有效捕捉了如姓名重排和缩写扩展等常见模式。
• 该方法对分组验证中的微小错误表现出鲁棒性，在人工输入有限的情况下仍能保持高精确率。
• 通过在实体合并前对变体值进行标准化，该方法显著提升了真相发现和MDM系统的性能。
• 人机协同设计最大限度减少了人工劳动，同时实现了高质量的标准化，证明其在真实世界数据集成流程中的有效性。