[论文解读] Trading the Twitter Sentiment with Reinforcement Learning

Catherine Xiao, Wanfeng Chen|arXiv (Cornell University)|Jan 7, 2018

Stock Market Forecasting Methods参考文献 4被引用 6

一句话总结

本文提出了一种基于强化学习（Q-learning）的框架，利用Twitter情绪作为信号生成最优股票交易策略，其表现优于传统的基于机器学习的交易模型。研究结果表明，情绪信号对特斯拉等成长型股票的预测能力更强，尤其是在高关注度事件期间；且Q-learning相较于回测策略更能适应市场变化。

ABSTRACT

This paper is to explore the possibility to use alternative data and artificial intelligence techniques to trade stocks. The efficacy of the daily Twitter sentiment on predicting the stock return is examined using machine learning methods. Reinforcement learning(Q-learning) is applied to generate the optimal trading policy based on the sentiment signal. The predicting power of the sentiment signal is more significant if the stock price is driven by the expectation of the company growth and when the company has a major event that draws the public attention. The optimal trading strategy based on reinforcement learning outperforms the trading strategy based on the machine learning prediction.

研究动机与目标

• 评估Twitter情绪对股票收益的预测能力，特别是其与市场预期及公司特定事件的关系。
• 开发一种基于强化学习的交易策略，将情绪特征作为状态空间的一部分，以优化交易决策。
• 在真实回测中，比较基于Q-learning的策略与基于机器学习的策略及基准模型的表现。
• 探究情绪信号是否对受公众预期驱动而非基本面驱动的股票更具有效性。
• 探索强化学习如何在不过度拟合历史数据的前提下适应市场制度变化。

提出的方法

• 使用网络爬虫从2015年1月至2017年6月收集每日Twitter数据，以特斯拉和福特为案例研究。
• 通过Langdetect和自定义过滤器去除URL、话题标签、用户提及、表情符号及非英文内容，对推文进行预处理。
• 使用Stanford CoreNLP为推文分配情绪得分，将句子级情绪得分（0–4）平均后归一化至[0,1]。
• 构建基于情绪的特征（如日均情绪、情绪量、动量），并与技术指标（如价格动量）结合，作为Q-learning的输入状态。
• 在Q-learning中应用ε-贪婪探索策略，以平衡对已学习策略的利用与对新动作的探索。
• 通过时序差分更新学习状态-动作价值函数Q(s,a)，训练Q-learning智能体以最大化累积奖励（投资组合收益）。

实验结果

研究问题

• RQ1 Twitter情绪是否对股票收益具有预测能力？这种预测能力是否在特斯拉等成长型股票上强于福特等基本面驱动型股票？
• RQ2 基于Q-learning的交易策略与基于情绪和技术指标进行二元价格方向预测的机器学习策略相比，表现如何？
• RQ3 引入情绪特征是否能提升仅使用技术指标的基准模型的交易表现？
• RQ4 Q-learning智能体在训练过程中如何应对市场制度转变及罕见或异常状态？
• RQ5 强化学习能否生成比传统回测方法更稳健、更具适应性的交易策略？

主要发现

• 对于受市场预期和公众情绪驱动的股票（如特斯拉），Twitter情绪具有更强的预测能力，尤其是在Twitter发帖量较高的时期。
• 在为期一年的回测中，基于Q-learning的交易策略在累计收益上优于基于机器学习的策略和基准模型。
• 随着经验积累，Q-learning智能体表现逐步提升，但初期因在罕见状态中探索不足，表现不稳定。
• 基于机器学习的策略（基于情绪和技术指标预测价格涨跌）仍优于仅使用技术指标的基准模型。
• 拥有内幕信息的“理想模型”实现了6倍回报，表明Q-learning策略捕捉到了大部分可获得的阿尔法，但尚未完全捕获。
• Q-learning模型展现出对市场制度转变的适应能力，且未出现过拟合，而传统回测方法则存在此问题。