[论文解读] Twitter Sentiment Analysis: How To Hedge Your Bets In The Stock Markets

Tushar Rao, Saket Srivastava|arXiv (Cornell University)|Dec 5, 2012

Stock Market Forecasting Methods被引用 4

一句话总结

本文提出了一种可扩展的Twitter情感分析模型，通过格兰杰因果关系和专家模型挖掘系统（EMMS），将微博数据中的公众情绪与短期股票市场波动相关联，实现了90.8%的方向准确率和0.952的决定系数（R-squared）。该方法通过基于情绪信号的动态投资组合调整，提升了对冲策略的效果。

ABSTRACT

Emerging interest of trading companies and hedge funds in mining social web has created new avenues for intelligent systems that make use of public opinion in driving investment decisions. It is well accepted that at high frequency trading, investors are tracking memes rising up in microblogging forums to count for the public behavior as an important feature while making short term investment decisions. We investigate the complex relationship between tweet board literature (like bullishness, volume, agreement etc) with the financial market instruments (like volatility, trading volume and stock prices). We have analyzed Twitter sentiments for more than 4 million tweets between June 2010 and July 2011 for DJIA, NASDAQ-100 and 11 other big cap technological stocks. Our results show high correlation (upto 0.88 for returns) between stock prices and twitter sentiments. Further, using Granger's Causality Analysis, we have validated that the movement of stock prices and indices are greatly affected in the short term by Twitter discussions. Finally, we have implemented Expert Model Mining System (EMMS) to demonstrate that our forecasted returns give a high value of R-square (0.952) with low Maximum Absolute Percentage Error (MaxAPE) of 1.76% for Dow Jones Industrial Average (DJIA). We introduce a novel way to make use of market monitoring elements derived from public mood to retain a portfolio within limited risk state (highly improved hedging bets) during typical market conditions.

研究动机与目标

• 探究Twitter情感与主要股指及科技股短期金融市场价格波动之间的因果关系。
• 开发一种可扩展、可定制的方法，利用微博数据衡量特定公司或指数的公众情绪。
• 验证Twitter情感特征（如看涨情绪、共识程度和讨论量）是否格兰杰因果于股票收益和波动率。
• 设计并实现一种专家模型挖掘系统（EMMS），以实现实时、基于情绪的对冲策略。
• 展示情绪数据在通过动态、情绪驱动的投资组合调整降低投资风险方面的实际应用价值。

提出的方法

• 使用Twitter搜索API，从2010年6月至2011年7月收集超过400万条微博，重点关注道琼斯工业平均指数（DJIA）、纳斯达克-100指数以及11只大型科技股。
• 为每家上市公司或指数定义情感特征，包括看涨情绪（正面情绪）、共识度（情绪一致性）和讨论量（讨论强度）。
• 应用格兰杰因果分析（GCA）检验滞后的情感特征是否能预测未来的股票收益、波动率和交易量。
• 采用相关性分析测量情感特征与金融指标之间线性关系的强度。
• 实施专家模型挖掘系统（EMMS），利用基于情绪的输入预测股票收益，以决定系数（R-squared）和最大平均百分比误差（MaxAPE）为优化目标。
• 通过在道琼斯工业平均指数和纳斯达克-100指数数据上的样本外测试验证模型性能，对比方向准确率和误差指标。

实验结果

研究问题

• RQ1 Twitter情感特征（如看涨情绪、共识度、讨论量）在多大程度上格兰杰因果于股票价格和指数的短期波动？
• RQ2 滞后1至3周的情感特征如何预测道琼斯工业平均指数和纳斯达克-100指数的未来收益？
• RQ3 基于情绪的模型能否在方向准确率和预测决定系数（R-squared）方面超越以往方法？
• RQ4 如何利用Twitter情感动态调整投资组合头寸，以在市场波动加剧时降低风险？
• RQ5 针对个股与宽基指数，情绪建模的可扩展性与可定制性如何？

主要发现

• 在个股层面，尤其是科技板块，Twitter情感特征与股票收益之间存在显著相关性（最高达0.88）。
• 格兰杰因果分析证实，Twitter情感特征能显著预测未来收益，其中最强预测力出现在2周滞后时。
• 专家模型挖掘系统（EMMS）在预测道琼斯工业平均指数（DJIA）收益时，实现了0.952的决定系数和1.76%的最大平均百分比误差（MaxAPE），优于以往模型。
• 该模型在预测道琼斯工业平均指数走势方面实现了90.8%的方向准确率，显著高于以往研究（例如Bollen等人研究中的86.7%）。
• 共识度和讨论量等情感特征比单纯的情绪极性更具预测力，尤其在识别市场转折点方面表现更优。
• 该方法可通过情绪信号触发投资组合再平衡（例如由看空转为看多），在市场下行时降低风险敞口，实现有效的动态对冲。