[论文解读] Predicting election trends with Twitter: Hillary Clinton versus Donald Trump.

Alexandre Bovet, Flaviano Morone+1 more|arXiv (Cornell University)|Oct 5, 2016

Opinion Dynamics and Social Influence参考文献 40被引用 12

一句话总结

本研究开发了一种混合方法，结合网络分析、自然语言处理和机器学习，以推断2016年美国总统选举期间Twitter用户的政治倾向。基于7300万条推文，该方法预测了全国舆论趋势，与《纽约时报》民调平均值的相关系数达到0.9，并提前6至15天预测了这些趋势，展示了Twitter作为实时、低成本的全国舆论变化早期预警系统的潜力。

ABSTRACT

Forecasting opinion trends from real-time social media is the long-standing goal of modern-day big-data analytics. Despite its importance, there has been no conclusive scientific evidence so far that social media activity can capture the opinion of the general population at large. Here we develop analytic tools combining statistical physics of complex networks, percolation theory, natural language processing and machine learning classification to infer the opinion of Twitter users regarding the candidates of the 2016 US Presidential Election. Using a large-scale dataset of 73 million tweets collected from June 1st to September 1st 2016, we investigate the temporal social networks formed by the interactions among millions of Twitter users. We infer the support of each user to the presidential candidates and show that the resulting Twitter trends follow the New York Times National Polling Average, which represents an aggregate of hundreds of independent traditional polls, with remarkable accuracy (r=0.9). More importantly, the Twitter opinion trend forecasts the aggregated NYT polls by 6 to 15 days, showing that Twitter can be an early warning signal of global opinion trends at the national level. Our analytics [available at kcorelab.com] unleash the power of Twitter to predict social trends from elections, brands to political movements, and at a fraction of the cost of national polls.

研究动机与目标

• 确定实时Twitter活动是否能够可靠地反映2016年美国总统选举期间的全国舆论趋势。
• 开发一种可扩展的方法，从社交媒体互动中推断个体用户对政治候选人的支持。
• 检验基于Twitter的舆论趋势是否能够比传统方法更早预测传统民调平均值。
• 通过与既定的高精度民调数据对比，验证社交媒体分析的预测能力。

提出的方法

• 从2016年6月1日至9月1日期间收集的7300万条推文中构建时间性社交网络。
• 应用渗滤理论识别具有影响力的用户群体，并推断用户对候选人的支持。
• 使用自然语言处理从推文内容中提取情感倾向和候选人提及。
• 通过机器学习分类方法结合网络结构和语言特征，预测用户偏好。
• 将个体用户预测结果聚合为宏观层面的舆论趋势，以与《纽约时报》全国民调平均值进行比较。
• 通过测量Twitter趋势与传统民调平均值之间的相关系数和领先时间，验证预测准确性。

实验结果

研究问题

• RQ1 Twitter用户的互动行为和语言模式是否能够可靠地反映全国政治舆论趋势？
• RQ2 基于Twitter的预测在多大程度上能够提前预测传统民调平均值？
• RQ3 与《纽约时报》民调平均值相比，基于Twitter推导出的舆论趋势有多准确？
• RQ4 与传统民调数据相比，基于Twitter的预测具有多长的领先时间？
• RQ5 社交媒体分析能否提供一种成本效益优于大规模全国民调的替代方案？

主要发现

• 基于Twitter的舆论趋势与《纽约时报》全国民调平均值的相关系数为r = 0.9，表明与传统民调数据高度一致。
• Twitter趋势能够提前6至15天预测《纽约时报》民调平均值，显示出早期预警能力。
• 该方法成功结合网络结构和语言分析，推断出个体用户的候选人支持倾向。
• 预测准确性在整个观察期内保持稳定，显示出时间上的鲁棒性。
• 该方法以传统全国民调成本的一小部分实现了高度准确的预测。
• 研究结果验证了社交媒体数据可作为民主选举中国民舆论趋势的可靠、实时替代指标。