[论文解读] Unique Entity Estimation with Application to the Syrian Conflict

Beidi Chen, Anshumali Shrivastava+1 more|arXiv (Cornell University)|Oct 7, 2017

Data Quality and Management参考文献 22被引用 5

一句话总结

本文提出了一种基于局部敏感哈希（LSH）的近线性时间唯一实体估计算法，用于估算在存在噪声和重复数据的数据库中唯一个体的数量——特别应用于叙利亚冲突中的死亡人数。该方法提供了无偏估计，并具有可证明的低方差，得出的估计结果为191,874 ± 1,772例唯一死亡人数，与HRDAG的基准值191,369非常接近。

ABSTRACT

Entity resolution identifies and removes duplicate entities in large, noisy databases and has grown in both usage and new developments as a result of increased data availability. Nevertheless, entity resolution has tradeoffs regarding assumptions of the data generation process, error rates, and computational scalability that make it a difficult task for real applications. In this paper, we focus on a related problem of unique entity estimation, which is the task of estimating the unique number of entities and associated standard errors in a data set with duplicate entities. Unique entity estimation shares many fundamental challenges of entity resolution, namely, that the computational cost of all-to-all entity comparisons is intractable for large databases. To circumvent this computational barrier, we propose an efficient (near-linear time) estimation algorithm based on locality sensitive hashing. Our estimator, under realistic assumptions, is unbiased and has provably low variance compared to existing random sampling based approaches. In addition, we empirically show its superiority over the state-of-the-art estimators on three real applications. The motivation for our work is to derive an accurate estimate of the documented, identifiable deaths in the ongoing Syrian conflict. Our methodology, when applied to the Syrian data set, provides an estimate of $191,874 \pm 1772$ documented, identifiable deaths, which is very close to the Human Rights Data Analysis Group (HRDAG) estimate of 191,369. Our work provides an example of challenges and efforts involved in solving a real, noisy challenging problem where modeling assumptions may not hold.

研究动机与目标

• 在存在大量数据重复的情况下，估算叙利亚冲突中可识别的受害者唯一数量。
• 开发一种计算高效的估计算法，避免实体消歧中全配对比较的O(M²)计算成本。
• 通过提供无偏估计与可量化的标准误，确保统计严谨性，这对转型正义中的问责制至关重要。
• 尽量减少对强模型假设的依赖，特别是在现实世界冲突数据中存在高噪声和缺失数据的情况下。
• 在真实世界数据集（包括叙利亚冲突数据）上，证明该方法在准确性和计算成本方面优于现有的基于采样和基于消歧的估计算法。

提出的方法

• 利用局部敏感哈希（LSH）高效采样并估计唯一实体，无需进行全配对比较。
• 采用三级采样方案（n₁*, n₂*, n₃*），基于LSH碰撞频率来估计唯一实体数量。
• 通过采样记录中碰撞模式的加权指示变量和，推导出唯一实体数量的线性估计量。
• 在合理假设下证明该估计量为无偏，并利用概率论与协方差分解推导其方差。
• 建立采样概率p增加时方差单调减少的特性，确保使用更多数据时精度提升。
• 在叙利亚冲突数据集中应用该方法，利用多个来源的死亡记录文档，借助LSH估计唯一个体数量。

实验结果

研究问题

• RQ1 能否开发一种唯一实体估计算法，使其计算复杂度接近线性，同时保持统计严谨性与低方差？
• RQ2 与现有随机采样和实体消歧方法相比，所提出的基于LSH的估计算法在准确性和计算成本方面表现如何？
• RQ3 在存在高噪声和缺失值的现实数据条件下，该估计量的统计性能（偏差与方差）如何？
• RQ4 该估计量能否为转型正义和国际问责等高风险应用提供可靠的置信区间？
• RQ5 在建模假设可能不成立的真实世界冲突数据中，该方法表现如何？

主要发现

• 所提出的估计算法实现了近线性时间复杂度，与二次时间复杂度的实体消歧方法相比，显著降低了计算成本。
• 在合理假设下，该估计量被证明为无偏，且方差较低，优于现有基于采样的方法。
• 在叙利亚冲突数据集中，该方法估计出191,874例唯一记录死亡人数，标准误为±1,772。
• 该估计值与HRDAG基准值191,369相差仅505例，表明其具有高度准确性。
• 估计量的方差随着采样概率p的增加而单调减少，证实了使用更多数据可提升精度。
• 实证评估表明，该方法在三个真实世界应用中（包括叙利亚冲突数据）均优于现有最先进估计算法。