[论文解读] r-HUMO: A Risk-Aware Human-Machine Cooperation Framework for Entity Resolution with Quality Guarantees

Boyi Hou, Qun Chen+3 more|arXiv (Cornell University)|Mar 15, 2018

Data Quality and Management被引用 3

一句话总结

r-HUMO 是一种用于实体消歧的、具备风险意识的人机协作框架，可在严格保证精确率和召回率的前提下显著减少人工劳动。通过基于人工标注结果和机器度量的实时风险分析，迭代地优先处理高风险记录对进行人工审查，r-HUMO 相较于实时方法，将人工交互次数最多减少 91%，显著降低了人工成本，同时不牺牲准确性。

ABSTRACT

Even though many approaches have been proposed for entity resolution (ER), it remains very challenging to find one with quality guarantees. To this end, we proposea risk-aware HUman-Machine cOoperation framework for ER, denoted by r-HUMO. Built on the existing HUMO framework, r-HUMO similarly enforces both precision and recall levels by partitioning an ER workload between the human and the machine. However, r-HUMO is the first solution to optimize the process of human workload selection from a risk perspective. It iteratively selects human workload based on real-time risk analysis on human-labeled results as well as prespecified machine metrics. In this paper,we first introduce the r-HUMO framework and then present the risk analysis technique to prioritize the instances for manual labeling. Finally,we empirically evaluate r-HUMO's performance on real data. Our extensive experiments show that r-HUMO is effective in enforcing quality guarantees,and compared with the state-of-the-art alternatives, it can achieve better quality control with reduced human cost.

研究动机与目标

• 为在最小化人工投入的前提下，解决实体消歧中同时保证精确率和召回率的挑战。
• 通过引入基于风险的工作量选择机制，而非基于批次的度量分组，改进现有的人机协作框架。
• 通过动态识别并优先处理最易出错的记录对进行人工检查，降低实体消歧中的人工劳动成本。
• 通过基于风险的迭代选择机制，在减少交互频率的同时实现实时质量控制。
• 在真实世界数据集上验证框架的有效性，实现效率和质量的可测量提升。

提出的方法

• r-HUMO 在 HUMO 框架基础上引入了一个风险分析模型，用于评估每对记录被机器错误标注的可能性。
• 采用现代投资组合理论建模风险，将每对记录视为一项资产，其预期收益（准确率）与风险（误标概率）并存。
• 框架通过迭代方式实时选择高风险对进行人工审查，并根据新标注结果动态更新风险估计。
• 利用人工标注结果优化风险评估，实现对最不确定记录对的动态优先处理。
• 引入一种批处理模式，可将交互频率最多降低 91%，同时保持与实时模式相当的质量水平。
• 系统使用高斯过程回归（GPR）近似方法估计相似度度量，并指导工作量划分。

实验结果

研究问题

• RQ1 基于风险的人工审查记录对选择，是否能减少实现目标精确率与召回率所需的总人工投入？
• RQ2 基于人工标注结果的迭代风险分析，如何提升机器标注的准确性并减少所需的人工劳动？
• RQ3 在实体消歧的人机协作中，实时模式与批处理模式之间，交互频率与质量之间的权衡关系如何？
• RQ4 与最先进的方法 ACTL 相比，r-HUMO 在人工成本和质量提升方面表现如何？
• RQ5 基于投资组合理论的风险建模，能在多大程度上提升人机协作在实体消歧中的效率？

主要发现

• 在批处理模式下，r-HUMO 相较于实时交互方式，将所需人工成本最多降低 91%，且分辨率质量无显著损失。
• 在 DS 数据集上，r-HUMO 以仅 0.2718% 的额外人工成本实现了 F1 分数 1% 的提升，其成本效率优于 ACTL。
• 在 AB 数据集上，实现 F1 分数 1% 提升的额外人工成本低至 0.1951%，展现出极高的投资回报率。
• r-HUMO 的批处理模式变体在质量上几乎与实时模式相当，同时将交互频率降低超过 90%。
• 该框架在所有测试数据集（DS、AB、SG）上均保持了高精确率与高召回率，且在高精度阈值下 F1 分数均超过 0.95。
• 运行时间随数据规模呈多项式增长，且更严格的质量要求会导致执行时间更显著增加，与理论复杂度一致。