[论文解读] Sentiment Predictability for Stocks

Jordan Prosky, Xingyou Song+2 more|arXiv (Cornell University)|Dec 15, 2017

Stock Market Forecasting Methods参考文献 9被引用 12

一句话总结

本文利用深度学习模型对金融新闻和社交媒体情绪进行分析，研究个股走势的可预测性。模型结合LSTM与卷积网络，并引入事件抽取和情绪分析，发现模型极易过拟合，准确率仅约50%，表明尽管理论潜力较强，但当前方法在个股预测方面实际应用价值有限。

ABSTRACT

In this work, we present our findings and experiments for stock-market prediction using various textual sentiment analysis tools, such as mood analysis and event extraction, as well as prediction models, such as LSTMs and specific convolutional architectures.

研究动机与目标

• 探究来自金融新闻的情绪与事件特征是否可用于预测个股价格走势。
• 评估LSTM与卷积神经网络在基于文本情绪与事件数据分类上涨或下跌走势时的性能表现。
• 调查事件抽取与情绪分析是否能在基础价格数据之外提升预测准确率。
• 识别深度学习在个股预测中面临的问题，如过拟合与数据稀缺性。
• 提供一个可复现的框架，用于基于自然语言处理与时间序列建模的情绪驱动个股预测。

提出的方法

• 使用基于LSTM的模型，基于金融新闻标题提取的情绪得分，对个股走势（上涨/下跌）进行分类。
• 应用卷积神经网络（CNNs），结合来自开放信息抽取（OpenIE）的事件嵌入，捕捉新闻文本中的语义事件。
• 将VADER情绪分析与斯坦福OpenIE的事件抽取相结合，生成结构化的事件表示。
• 在新闻文章与股价的时间序列上进行模型训练，同时使用打乱与未打乱的数据，以评估时间依赖性的影响。
• 通过调整训练轮次（50、500）与隐藏层大小进行超参数调优，以评估过拟合与模型泛化能力。
• 采用多尺度时间设置（月、周、日），评估模型在长、中、短期预测中的表现。

实验结果

研究问题

• RQ1 金融新闻中的情绪与事件特征是否能提升对个股价格走势的预测能力？
• RQ2 当使用文本情绪与事件数据对个股走势进行分类时，LSTM与卷积神经网络在性能上如何比较？
• RQ3 过拟合在多大程度上限制了深度学习模型在个股预测任务中的泛化能力？
• RQ4 新闻数据的时间顺序是否显著影响模型性能？
• RQ5 数据量与数据质量在实现有意义的预测准确率方面起到何种作用？

主要发现

• 基于LSTM的情绪模型在训练集上达到极高准确率（>90%），但显示出过拟合迹象，测试准确率趋于平稳或下降。
• 结合事件嵌入的卷积网络最高测试准确率约为50%，表明其预测优势不显著，与随机猜测无异。
• 完整网络（月、周、日）严重过拟合，训练准确率迅速接近100%，表明当前模型复杂度超出数据承载能力。
• 短期（日）网络在训练轮次增加时，测试准确率表现出更一致的提升，显示出更好的泛化潜力。
• 打乱训练数据并未带来测试性能的稳定提升，表明时间顺序可能至关重要，但当前模型未能可靠利用这一特性。
• 尽管使用了先进的NLP工具与深度学习架构，模型仍无法超越随机猜测，凸显当前方法在个股预测中的固有难度。