[论文解读] TwitterPaul: Extracting and Aggregating Twitter Predictions

Naushad UzZaman, Roi Blanco+1 more|arXiv (Cornell University)|Nov 28, 2012

Sports Analytics and Performance参考文献 20被引用 10

一句话总结

TwitterPaul 是一种系统，通过使用高精度自然语言处理技术，从 Twitter 提取并聚合关于 2010 年 FIFA 世界杯比赛的预测，能够以高达 88% 的准确率对预测类型进行分类。通过基于用户历史记录加权预测，并采用投票或机器学习方法聚合，该系统实现了接近预测市场水平的预测性能，表明高质量的预测提取比数据量更为关键。

ABSTRACT

This paper introduces TwitterPaul, a system designed to make use of Social Media data to help to predict game outcomes for the 2010 FIFA World Cup tournament. To this end, we extracted over 538K mentions to football games from a large sample of tweets that occurred during the World Cup, and we classified into different types with a precision of up to 88%. The different mentions were aggregated in order to make predictions about the outcomes of the actual games. We attempt to learn which Twitter users are accurate predictors and explore several techniques in order to exploit this information to make more accurate predictions. We compare our results to strong baselines and against the betting line (prediction market) and found that the quality of extractions is more important than the quantity, suggesting that high precision methods working on a medium-sized dataset are preferable over low precision methods that use a larger amount of data. Finally, by aggregating some classes of predictions, the system performance is close to the one of the betting line. Furthermore, we believe that this domain independent framework can help to predict other sports, elections, product release dates and other future events that people talk about in social media.

研究动机与目标

• 开发一种能够自动从 Twitter 提取并聚合公众预测的系统，以预测现实世界结果（如体育比赛结果）。
• 评估社交媒体言论是否能够以与预测市场相当的性能预测事件结果。
• 研究预测质量与数量之间的关系，以及用户可信度在提升预测准确性方面的作用。
• 探索尽管与 RMSE 或准确率指标相关性较低，预测系统是否仍能在投注市场中实现盈利。

提出的方法

• 采用高精度自然语言处理流水线，利用词性标注和对情态动词（如 'will'、'might'、'predicts'）的上下文感知解析，对推文进行预测类型分类。
• 通过球队名称匹配和时间上下文分析，将预测映射到具体的世界杯比赛。
• 基于历史准确率、预测数量、关注者数和好友数等指标，对用户可信度进行建模，并通过投票或机器学习方法调整权重。
• 评估三种聚合策略：简单投票、基于用户特征的加权投票，以及通过监督学习优化预测权重。
• 以投注线概率（预测市场基线）、RMSE、准确率以及模拟投注市场收益作为基准，评估性能表现。
• 通过使用预测概率进行每场比赛投注 10 美元的方式，模拟实际投注收益，根据赔率和实际结果计算回报。

实验结果

研究问题

• RQ1 即使数据集较小，高精度提取社交媒体预测是否仍能优于低精度方法？
• RQ2 个体用户的过往表现如何影响聚合预测的准确性？
• RQ3 预测市场基线在多大程度上限制了基于社交媒体的预测系统的性能？
• RQ4 尽管预测性能强劲，为何 RMSE/准确率与实际投注市场收益之间的相关性较低？
• RQ5 即使在标准误差指标上表现不佳，社交媒体预测是否仍可用于构建盈利的投注策略？

主要发现

• 在 53.8 万条推文的中等规模数据集上，高精度提取（F1 最高达 88%）优于使用更大数据量的低精度方法，证明了质量优于数量。
• 当采用加权投票或机器学习方法时，TwitterPaul 的预测性能接近投注线基线，表明其达到了接近市场的准确度水平。
• 使用 '支持' 类推文（如 'I support X'）的系统在模拟投注中获得 56.9 美元收益，优于 RMSE 优化模型，尽管准确率较低，但得益于对高赔率比赛的预测。
• 均方根误差（RMSE）与准确率和实际投注市场收益之间的皮尔逊相关系数低于 0.31，表明仅靠误差指标无法预测盈利能力。
• 若概率完全准确，投注线基线本应实现盈亏平衡（640 美元），但 TwitterPaul 的模拟表现表明其在真实投注场景中可优于简单基线模型。
• 用户历史特征（如过往准确率、关注者数和预测数量）并未显著提升模型性能，表明其在可信度评分中的作用有限。