[论文解读] When is it Biased? Assessing the Representativeness of Twitter's Streaming API

Fred Morstatter, Jürgen Pfeffer+1 more|arXiv (Cornell University)|Jan 30, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 14被引用 45

一句话总结

本文提出一种方法，无需依赖昂贵的Firehose数据，即可检测Twitter Streaming API中的偏差，方法是使用公开可用的Sample API作为代表性代理。该方法识别出Streaming API趋势与真实Twitter活动显著偏离的时间段，且在地理和时间上截然不同的查询中表现出高度一致性，从而使研究人员仅通过开放数据源即可检测偏差。

ABSTRACT

Twitter has captured the interest of the scientific community not only for its massive user base and content, but also for its openness in sharing its data. Twitter shares a free 1% sample of its tweets through the "Streaming API", a service that returns a sample of tweets according to a set of parameters set by the researcher. Recently, research has pointed to evidence of bias in the data returned through the Streaming API, raising concern in the integrity of this data service for use in research scenarios. While these results are important, the methodologies proposed in previous work rely on the restrictive and expensive Firehose to find the bias in the Streaming API data. In this work we tackle the problem of finding sample bias without the need for "gold standard" Firehose data. Namely, we focus on finding time periods in the Streaming API data where the trend of a hashtag is significantly different from its trend in the true activity on Twitter. We propose a solution that focuses on using an open data source to find bias in the Streaming API. Finally, we assess the utility of the data source in sparse data situations and for users issuing the same query from different regions.

研究动机与目标

• 为解决Twitter Streaming API中偏差检测缺乏经济可行方法的问题，该API虽被广泛使用，但可能存在代表性不足的问题。
• 开发一种方法，检测Streaming API数据中显著偏差的时间段，且无需访问完整的Firehose数据。
• 评估Sample API作为检测Streaming API结果偏差参考的代表性。
• 评估相同查询在不同地理位置和时间间隔下是否产生一致的结果。
• 为研究人员提供一种实用的、开源的替代方案，以替代基于Firehose的验证方法，用于社交媒体数据中的偏差检测。

提出的方法

• 利用Twitter Sample API——一个公开可访问的、所有推文1%随机样本——作为参考数据集，与Streaming API结果进行对比。
• 通过同时从美国和奥地利发起相同查询，比较推文ID集合，评估地理一致性。
• 比较连续Streaming API查询中重叠的10分钟时间间隔，评估时间上的稳定性。
• 使用Jaccard相似系数量化不同查询间推文ID集合的重叠程度，衡量代表性。
• 对多个查询的Jaccard分数进行统计分析，检测显著偏差，以指示偏差。
• 在高流量查询上验证该方法，识别出Streaming API趋势与Sample API基线显著偏离的时间窗口。

实验结果

研究问题

• RQ1 在无Firehose访问的情况下，Sample API能否作为检测Streaming API偏差的可靠代理？
• RQ2 对于相同查询，Streaming API结果在不同地理区域是否一致？
• RQ3 在不同时段发起的相同查询，其Streaming API结果是否相似？
• RQ4 哪些时间段的Streaming API数据相对于真实Twitter活动表现出显著偏差？
• RQ5 该方法在查询量较低的稀疏数据场景下效果如何？

主要发现

• Sample API表现出高度代表性，美国与奥地利之间的地理对比中，中位Jaccard相似度达0.976。
• 时间对比显示结果近乎一致：美国查询的中位Jaccard分数为0.996，均值为0.995，标准差仅为0.003。
• 奥地利查询的标准化差较高（0.186），但均值Jaccard分数仍达0.942，表明一致性很强。
• 该方法成功识别出Streaming API趋势与Sample API基线显著偏离的时间段，表明可能存在偏差。
• 该方法在高流量查询中效果最佳；在稀疏数据场景下性能下降，因Sample API中信号有限。
• 研究证实，Streaming API结果在不同地区和时间窗口间高度一致，支持该参考方法的有效性。