[论文解读] The Predictive Power of Social Media: On the Predictability of U.S. Presidential Elections using Twitter

Kazem Jahanbakhsh, Yumi Moon|arXiv (Cornell University)|Jul 1, 2014

Sentiment Analysis and Opinion Mining参考文献 20被引用 32

一句话总结

本研究利用机器学习与自然语言处理技术，对3200万条带有地理标签的2012年美国总统选举推文（2012年9月29日至11月16日）进行分析，通过情感分析与LDA主题建模预测候选人受欢迎程度。研究结果表明，推文情感与实际选举结果高度一致，奥巴马在情感上持续领先，且地理情感分析结果反映出各州层面的受欢迎程度，验证了社交媒体作为可信、低成本的选举预测工具的有效性。

ABSTRACT

Twitter as a new form of social media potentially contains useful information that opens new opportunities for content analysis on tweets. This paper examines the predictive power of Twitter regarding the US presidential election of 2012. For this study, we analyzed 32 million tweets regarding the US presidential election by employing a combination of machine learning techniques. We devised an advanced classifier for sentiment analysis in order to increase the accuracy of Twitter content analysis. We carried out our analysis by comparing Twitter results with traditional opinion polls. In addition, we used the Latent Dirichlet Allocation model to extract the underlying topical structure from the selected tweets. Our results show that we can determine the popularity of candidates by running sentiment analysis. We can also uncover candidates popularities in the US states by running the sentiment analysis algorithm on geo-tagged tweets. To the best of our knowledge, no previous work in the field has presented a systematic analysis of a considerable number of tweets employing a combination of analysis techniques by which we conducted this study. Thus, our results aptly suggest that Twitter as a well-known social medium is a valid source in predicting future events such as elections. This implies that understanding public opinions and trends via social media in turn allows us to propose a cost- and time-effective way not only for spreading and sharing information, but also for predicting future events.

研究动机与目标

• 探究是否可利用推文数据高精度预测2012年美国总统选举结果。
• 将基于推文的情感分析结果与传统民意调查数据进行对比，以评估其可靠性与代表性。
• 利用无监督主题建模（LDA）对与选举相关的推文进行分析，揭示政治话语中的潜在主题与趋势。
• 通过地理标签推文评估情感分布，以识别各州层面的候选人受欢迎程度。
• 开发并验证一种系统性、多方法的综合分析框架，结合情感分析与主题建模，用于大规模社交媒体内容在政治预测中的应用。

提出的方法

• 收集了2012年9月29日至11月16日期间，共3200万条聚焦于美国总统选举内容的政治类推文。
• 采用自定义的机器学习分类器进行情感分析，以提高对候选人正面/负面情感的检测精度。
• 应用潜在狄利克雷分布（LDA）从推文语料中提取潜在主题结构，识别政治话语中的主导主题。
• 通过筛选带有地理标签的推文，开展地理情感分析，评估美国各州的候选人受欢迎程度。
• 将推文的情感趋势与同期传统民调机构的结果进行对比，以评估其预测一致性。
• 利用主题建模分析关键事件（如总统辩论）期间的讨论模式，识别重复出现的主题与词汇聚类。

实验结果

研究问题

• RQ1 能否利用推文数据预测2012年美国总统选举？
• RQ2 推文内容分析结果是否与传统民调机构的结果具有可比性？
• RQ3 基于带有地理标签的推文进行地理情感分析，能否揭示各州层面的候选人受欢迎程度？
• RQ4 2012年总统选举周期中，Twitter政治讨论中浮现了哪些潜在主题？
• RQ5 如总统辩论等重大事件如何影响推文话语中的情感与主题变化？

主要发现

• 在分析期间，奥巴马在情感分析中始终领先，与实际选举结果一致。
• 地理情感分析揭示了与已知区域投票趋势相符的各州受欢迎程度模式，验证了该方法在空间维度上的准确性。
• LDA成功从推文语料中提取出五个主导主题，包括总统辩论、税收、外交政策以及候选人姓名，反映出公众关注的焦点。
• 首次总统辩论期间，“debate”（辩论）、“mitt”（罗姆尼）和“obama”（奥巴马）的提及量显著上升，表明公众参与度提高。
• 负面广告被发现显著影响情感趋势，尤其在选举前几周表现明显。
• 推文情感趋势与传统民调结果高度相关，表明社交媒体可作为公众意见的可靠、实时替代指标。