[论文解读] Stock Movement Prediction with Financial News using Contextualized Embedding from BERT

Qinkai Chen|arXiv (Cornell University)|Jul 19, 2021

Stock Market Forecasting Methods参考文献 55被引用 14

一句话总结

该论文提出了一种微调的上下文嵌入循环神经网络（FT-CE-RNN），利用在金融新闻上微调的 BERT 生成领域特定的上下文嵌入，以从新闻标题预测短期股价走势。该模型在准确率和基于彭博新闻数据的模拟交易策略方面均显著优于基线模型，达到当前最先进水平。

ABSTRACT

News events can greatly influence equity markets. In this paper, we are interested in predicting the short-term movement of stock prices after financial news events using only the headlines of the news. To achieve this goal, we introduce a new text mining method called Fine-Tuned Contextualized-Embedding Recurrent Neural Network (FT-CE-RNN). Compared with previous approaches which use static vector representations of the news (static embedding), our model uses contextualized vector representations of the headlines (contextualized embeddings) generated from Bidirectional Encoder Representations from Transformers (BERT). Our model obtains the state-of-the-art result on this stock movement prediction task. It shows significant improvement compared with other baseline models, in both accuracy and trading simulations. Through various trading simulations based on millions of headlines from Bloomberg News, we demonstrate the ability of this model in real scenarios.

研究动机与目标

• 通过用上下文表示替换静态词嵌入，提升从金融新闻标题预测股价走势的性能。
• 通过在金融新闻数据上微调 BERT，将领域特定知识融入模型，以提升模型性能。
• 开发聚焦于具有市场影响新闻的评估指标，以更真实地反映投资者决策过程。
• 证明上下文嵌入相较于静态嵌入在预测股价方向变动方面的优越性。
• 通过在真实世界新闻数据上的广泛交易模拟，验证模型的预测能力。

提出的方法

• 在大规模金融新闻标题语料上微调 BERT 语言模型，以使其上下文嵌入适应金融领域。
• 从微调后 BERT 模型的最终层提取上下文嵌入，这些嵌入同时编码语义含义和上下文相关的词表示。
• 将上下文嵌入输入双向长短期记忆（LSTM）网络，以建模新闻标题中的序列依赖关系。
• 使用二元交叉熵损失函数端到端训练 FT-CE-RNN 模型，将新闻标题分类为正面或负面的股价走势信号。
• 采用一种新颖的评估协议，聚焦于表现最佳的新闻（例如前 1%、5%），以更真实地反映实际交易表现。
• 进行消融研究，比较不同 BERT 层级和分类方案（2 类 vs. 3 类）下的性能表现。

实验结果

研究问题

• RQ1 与静态嵌入相比，使用在金融新闻上微调的 BERT 所得的上下文嵌入是否能提升股价走势预测的准确率？
• RQ2 在金融新闻上微调 BERT 是否能增强模型识别具有市场影响新闻的能力？
• RQ3 在准确率和模拟交易收益方面，FT-CE-RNN 模型相较于基线模型表现如何？
• RQ4 在预测股价走势时，2 类分类（正面/负面）是否优于 3 类分类（正面/中性/负面）？
• RQ5 哪一层 BERT 能为股价预测任务提供最有效的上下文嵌入？

主要发现

• 在最具市场影响的前 1% 新闻中，FT-CE-RNN 模型的测试准确率达到 74.5%，显著优于基线模型。
• 模型在模拟交易环境中的表现更优，表明其具备强大的实际预测能力。
• 在金融新闻上微调 BERT 可生成更优的上下文嵌入，能够捕捉领域特有的细微差别，从而提升预测准确率。
• 使用 BERT 的最后一层（L）作为嵌入源可获得最佳性能，而较低层（如 L-1、L-2）性能下降，因其上下文信息不足。
• 3 类分类模型表现不如 2 类模型，因为中性与具有市场影响新闻之间的区别模糊，难以学习。
• 定性分析表明，模型学习到了有意义的模式，例如频繁出现的正面术语如 'buy' 和 'raise'，以及负面术语如 'downgrade' 和 'miss'。