[论文解读] On predictability of rare events leveraging social media: a machine learning perspective

Lei Le, Emilio Ferrara+1 more|arXiv (Cornell University)|Feb 20, 2015

Sports Analytics and Performance参考文献 22被引用 7

一句话总结

本文提出了一种机器学习框架，通过实时分析Twitter情绪来预测足球比赛中罕见的冷门结果——即赔率极高的结果——在模拟投注策略中实现了超过8%的边际利润。通过分析比赛开始前六小时内球迷讨论的平均情绪，该模型以80%的准确率和AUROC值成功识别出冷门胜利，表现优于博彩公司赔率和基线投注策略。

ABSTRACT

Information extracted from social media streams has been leveraged to forecast the outcome of a large number of real-world events, from political elections to stock market fluctuations. An increasing amount of studies demonstrates how the analysis of social media conversations provides cheap access to the wisdom of the crowd. However, extents and contexts in which such forecasting power can be effectively leveraged are still unverified at least in a systematic way. It is also unclear how social-media-based predictions compare to those based on alternative information sources. To address these issues, here we develop a machine learning framework that leverages social media streams to automatically identify and predict the outcomes of soccer matches. We focus in particular on matches in which at least one of the possible outcomes is deemed as highly unlikely by professional bookmakers. We argue that sport events offer a systematic approach for testing the predictive power of social media, and allow to compare such power against the rigorous baselines set by external sources. Despite such strict baselines, our framework yields above 8% marginal profit when used to inform simple betting strategies. The system is based on real-time sentiment analysis and exploits data collected immediately before the games, allowing for informed bets. We discuss the rationale behind our approach, describe the learning framework, its prediction performance and the return it provides as compared to a set of betting strategies. To test our framework we use both historical Twitter data from the 2014 FIFA World Cup games, and real-time Twitter data collected by monitoring the conversations about all soccer matches of four major European tournaments (FA Premier League, Serie A, La Liga, and Bundesliga), and the 2014 UEFA Champions League, during the period between Oct. 25th 2014 and Nov. 26th 2014.

研究动机与目标

• 系统评估社交媒体讨论是否能够预测因概率极低而难以预测的足球比赛冷门结果。
• 将社交媒体情绪的预测能力与专业博彩公司赔率进行比较，后者作为严格的基准。
• 开发一种透明、实时的机器学习框架，利用Twitter讨论中的情绪信息，指导盈利的投注策略。
• 检验假设：集体球迷情绪，尤其是在实力悬殊的比赛中，包含可被利用的信号，用于预测冷门结果。
• 使用来自欧洲主要足球赛事及2014年国际足联世界杯的历史和实时Twitter数据，对框架进行验证。

提出的方法

• 在比赛开始前六小时收集实时Twitter数据，重点关注涉及高赔率比赛双方球迷的讨论。
• 使用Indico API进行实时情绪分析，计算推文的平均情绪得分，其中中性情绪的阈值定义为0.3–0.7和0.4–0.6。
• 训练一个二元分类器，仅以平均情绪作为单一特征，区分结果为预期结果（低赔率）与非预期结果（高赔率）的比赛。
• 利用模型的预测结果指导一种简单投注策略：在预测的高赔率结果上投注。
• 使用2014年国际足联世界杯推文的10%样本，以及来自四个主要欧洲联赛和欧洲冠军联赛的完整实时数据流，验证模型性能。
• 通过比较其回报率与基线策略（包括随机投注和固定赔率投注）在测试期间的表现，评估投注策略的盈利能力。

实验结果

研究问题

• RQ1 社交媒体情绪能否准确预测专业博彩公司认为概率极低的足球比赛冷门结果？
• RQ2 社交媒体情绪的预测表现与专业博彩公司赔率相比如何？后者综合了专家判断与市场智慧。
• RQ3 仅基于情绪的简单机器学习模型是否能在现实世界模拟投注场景中超越基线投注策略？
• RQ4 在利用社交媒体信号时，是否在实力悬殊的比赛中——即某一结果赔率极高——存在系统性优势？
• RQ5 鉴于模型仅依赖单一可观测特征（平均情绪）随时间的变化，其预测结果在多大程度上具有可解释性和可理解性？

主要发现

• 当使用0.3至0.7的中性范围时，模型的准确率为0.8052，AUROC值也为0.8052，表明其具有出色的判别性能。
• 该系统在用于指导简单投注策略时，实现了超过8%的边际利润，显著优于始终导致亏损的基线策略。
• 该框架在历史数据（2014年国际足联世界杯10%样本）和主要欧洲联赛及欧洲冠军联赛的实时数据流中均表现出稳健性能。
• 将情绪作为单一可解释特征，使系统能够实现实时、透明的预测，且具备可解释性和可操作性。
• 结果表明，社交媒体情绪反映了集体球迷的预期，能有效提示潜在冷门，尤其是在高赔率结果的比赛中。
• 在高赔率比赛中取得成功，暗示投注市场中对低概率结果可能存在市场无效性，可能源于投注者的风险规避心理，而社交媒体信号可有效利用这一漏洞。