[论文解读] Two Tales of the World: Comparison of Widely Used World News Datasets GDELT and EventRegistry

Haewoon Kwak, Jisun An|arXiv (Cornell University)|Mar 7, 2016

Data Management and Algorithms被引用 12

一句话总结

本文比较了GDELT和EventRegistry这两大数据集在规模、新闻来源和新闻地理分布方面的差异。尽管在数据量和来源多样性方面存在显著差异——GDELT索引的文章数量是EventRegistry的2.26至6.43倍，覆盖64.1种语言，而EventRegistry仅覆盖14种语言——但以国家提及次数衡量的新闻地理分布显示出高度相关性（Spearman等级相关系数ρ = 0.867），表明尽管底层数据存在差异，全球新闻覆盖模式仍保持一致。

ABSTRACT

In this work, we compare GDELT and Event Registry, which monitor news articles worldwide and provide big data to researchers regarding scale, news sources, and news geography. We found significant differences in scale and news sources, but surprisingly, we observed high similarity in news geography between the two datasets.

研究动机与目标

• 评估并比较两个广泛使用的全球新闻数据集——GDELT和EventRegistry的规模、新闻来源多样性以及地理覆盖范围。
• 评估数据集差异对研究人员在计算新闻学和社会科学研究中使用这些资源的影响。
• 探究不同的数据采集方法是否导致全球新闻表征的差异，特别是国家层面的媒体关注度。
• 为数据集的选择与使用提供实证指导，强调理解数据来源和局限性的重要性。

提出的方法

• 研究选取2015年3月至12月期间每月的第一天作为样本，以避免时间波动并确保可比性。
• GDELT数据通过压缩的每日数据文件（英文和跨语言）获取，而EventRegistry数据则通过其公共API获取，采用分页和日期限制。
• 新闻地理分布通过统计提及每个国家的文章数量来量化，使用GDELT中的V2ENHANCEDLOCATIONS字段和EventRegistry中的位置元数据。
• 采用斯皮尔曼等级相关分析比较两个数据集的新闻地理分布，衡量国家层面媒体关注度的相似性。
• 在来源层面进行分析，比较两个平台之间唯一网站数量、语言分布以及每来源的文章数量。
• 应用皮尔逊相关分析和斯皮尔曼等级相关系数等统计检验，评估文章数量趋势与来源特征之间的关系。

实验结果

研究问题

• RQ1 在相同时间段内，GDELT和EventRegistry的规模和来源多样性如何比较？
• RQ2 这两个数据集在语言覆盖范围以及文章在不同语言间的分布上有多大差异？
• RQ3 GDELT和EventRegistry在新闻地理分布（以国家提及次数衡量）方面有多相似？
• RQ4 新闻来源的网络流量与其在每个数据集中产出的文章数量之间存在何种关系？
• RQ5 两个平台的文章数量时间模式有何不同，这些差异由哪些因素驱动？

主要发现

• GDELT每天索引的文章数量是EventRegistry的2.26至6.43倍，两者日均文章数量的皮尔逊相关系数为r = 0.57（p = 0.08）。
• GDELT平均每天覆盖64.1种语言，而EventRegistry仅索引14种语言，尽管两者前10大语言基本相同。
• 尽管来源选择存在差异，但两个数据集的新闻地理分布表现出高度相关性（Spearman等级相关系数ρ = 0.867，p = 1.896e-74），表明全球媒体关注度模式具有一致性。
• 在两个数据集中，排名前10%的新闻来源贡献了约80%的文章，但来源的网络流量与其文章产出量之间无显著相关性（ρ = 0.17，p = 0.10）。
• 尽管GDELT声称采集广播、印刷和非网络来源的内容，但其99.9%的文章来自网络，仅有0.1%来自非网络来源，主要为BBC Monitoring。
• 两个数据集共享13,867个GDELT来源中的13,867个，以及20,754个EventRegistry来源中的20,754个，表明尽管两者均聚焦网络新闻，但实际重叠有限。