[论文解读] Sentiment Analysis of Twitter Data for Predicting Stock Market Movements

Venkata Sasank Pagolu, Kamal Nayan Reddy Challa+2 more|arXiv (Cornell University)|Oct 28, 2016

Stock Market Forecasting Methods参考文献 10被引用 13

一句话总结

本文提出一种机器学习方法，通过分析Twitter数据中的公众情绪，利用Word2vec和N-gram文本表示方法预测股票市场走势。研究显示，三天窗口内聚合的推文情绪与次日股价变动之间存在显著相关性，使用LibSVM模型达到71.82%的准确率，表明社交媒体情绪可有效预测市场趋势。

ABSTRACT

Predicting stock market movements is a well-known problem of interest. Now-a-days social media is perfectly representing the public sentiment and opinion about current events. Especially, twitter has attracted a lot of attention from researchers for studying the public sentiments. Stock market prediction on the basis of public sentiments expressed on twitter has been an intriguing field of research. Previous studies have concluded that the aggregate public mood collected from twitter may well be correlated with Dow Jones Industrial Average Index (DJIA). The thesis of this work is to observe how well the changes in stock prices of a company, the rises and falls, are correlated with the public opinions being expressed in tweets about that company. Understanding author's opinion from a piece of text is the objective of sentiment analysis. The present paper have employed two different textual representations, Word2vec and N-gram, for analyzing the public sentiments in tweets. In this paper, we have applied sentiment analysis and supervised machine learning principles to the tweets extracted from twitter and analyze the correlation between stock market movements of a company and sentiments in tweets. In an elaborate way, positive news and tweets in social media about a company would definitely encourage people to invest in the stocks of that company and as a result the stock price of that company would increase. At the end of the paper, it is shown that a strong correlation exists between the rise and falls in stock prices with the public sentiments in tweets.

研究动机与目标

• 探究Twitter推文中表达的公众情绪与后续股价走势之间的相关性。
• 开发一种稳健的情绪分析器，能够准确将短文本（推文）分类为正面、负面或中性情绪。
• 评估随时间累积的情绪是否能以高于随机概率的准确度预测股价的涨跌方向。
• 比较两种文本表示技术——Word2vec和N-gram——在金融预测任务中进行情绪分类的性能表现。

提出的方法

• 使用关键词和API收集与特定公司相关的Twitter数据，重点关注这些股票的公众情绪。
• 通过去除噪声（如URL、提及）对推文进行预处理，并应用两种文本表示方法：Word2vec嵌入和N-gram特征提取。
• 在标注的情绪数据上训练多种有监督机器学习分类器（如随机森林、逻辑回归、LibSVM），将推文分类为正面、负面或中性类别。
• 将三天滚动窗口内的情绪得分（正面、负面、中性数量）作为输入特征，用于预测次日股价方向（1 = 上涨，0 = 下跌）。
• 将数据集按80%训练集和20%测试集划分，使用Weka进行模型训练与评估，采用准确率、精确率、召回率和F1值等标准指标。
• 通过ROC曲线评估模型性能，并在不同算法和特征表示之间进行比较，以识别最优配置。

实验结果

研究问题

• RQ1 Twitter推文中的公众情绪与后续股价走势之间是否存在统计显著的相关性？
• RQ2 Word2vec和N-gram表示在短文本（如推文）中分类情绪的效果如何，与人工标注标签相比表现如何？
• RQ3 基于三天窗口内累积的情绪得分，能否以有意义的准确度预测次日股价的涨跌方向？
• RQ4 在基于Twitter数据提取的情绪特征上训练时，哪种机器学习算法在预测股价方向方面表现最佳？

主要发现

• 使用N-gram特征的情绪分析器准确率达到70.5%，使用Word2vec特征的准确率为70.2%，两者均超过短文本情绪分类中典型的人员一致性范围（70–79%）。
• 尽管N-gram的准确率略高，但Word2vec模型在可扩展性和语义一致性方面表现更优，尤其在处理大规模数据集时更具优势。
• 基于三天累积情绪特征训练的分类器，使用逻辑回归模型达到69.01%的准确率，使用LibSVM模型达到71.82%的准确率，表明其具有强大的预测能力。
• 研究结果表明，Twitter上公众情绪趋势与实际股价走势之间存在显著相关性，支持社交媒体情绪可预测市场方向的假设。
• 随着训练数据量的增加，模型性能持续提升，表明将标注数据集扩展至3,216条以上推文可进一步提高预测准确率。
• 本研究证实，Twitter上关于某家公司的正面公众情绪与后续股价上涨存在关联，验证了情绪驱动市场预测的核心前提。