[论文解读] Multimodal deep learning for short-term stock volatility prediction

Marcelo Sardelich, Suresh Manandhar|arXiv (Cornell University)|Dec 25, 2018

Stock Market Forecasting Methods参考文献 44被引用 8

一句话总结

该论文提出了一种多模态深度学习模型，联合编码股票价格变动和新闻标题以预测一日后的波动率，在五个金融行业的表现优于广泛使用的GARCH(1,1)模型。该模型采用分层注意力机制来优先关注相关新闻，并利用自然语言理解（NLI）句向量编码器进行迁移学习，结合价格与新闻数据后，在R²、MSE和MAE指标上均表现出更优性能。

ABSTRACT

Stock market volatility forecasting is a task relevant to assessing market risk. We investigate the interaction between news and prices for the one-day-ahead volatility prediction using state-of-the-art deep learning approaches. The proposed models are trained either end-to-end or using sentence encoders transfered from other tasks. We evaluate a broad range of stock market sectors, namely Consumer Staples, Energy, Utilities, Heathcare, and Financials. Our experimental results show that adding news improves the volatility forecasting as compared to the mainstream models that rely only on price data. In particular, our model outperforms the widely-recognized GARCH(1,1) model for all sectors in terms of coefficient of determination $R^2$, $MSE$ and $MAE$, achieving the best performance when training from both news and price data.

研究动机与目标

• 通过使用深度学习整合文本新闻与价格数据，提升短期波动率预测性能。
• 解决新闻相关性与时间上下文在关联新闻与市场反应过程中的挑战。
• 评估来自NLP任务（如NLI）的迁移学习在金融波动率预测中的有效性。
• 评估多模态建模是否优于单模态（仅价格）或简单新闻聚合方法。
• 探究不同句向量编码器架构对预测性能的影响。

提出的方法

• 采用分层端到端的深度学习架构，分别处理价格序列与新闻标题，随后进行融合。
• 采用新闻相关性注意力机制，基于内容动态关注每日最重要的新闻。
• 引入时间上下文建模，以考虑历史新闻序列及其累积效应。
• 采用多只股票小批量训练策略，并共享股票嵌入向量以捕捉跨股票共性。
• 通过微调在SNLI和Reuters RCV1数据集上预训练的句向量编码器，实现迁移学习以进行新闻编码。
• 通过消融实验确定最优句向量编码器架构为BiLSTM结合最大池化。

实验结果

研究问题

• RQ1 与仅使用价格数据的模型相比，结合新闻标题是否能提升一日后波动率预测的准确性？
• RQ2 新闻的整合如何影响深度学习模型在短期波动率预测中的性能？
• RQ3 从NLI或金融文本中预训练的句向量编码器中，哪一种在波动率预测中表现更优？
• RQ4 一种优先关注相关新闻的注意力机制在多大程度上提升了预测准确性？
• RQ5 所提出的多模态模型是否能在不同金融行业中实现良好泛化？

主要发现

• 所提出的多模态模型（价格+新闻）在全部五个行业——必需消费品、能源、公用事业、医疗保健和金融——的R²、MSE和MAE指标上均优于GARCH(1,1)模型。
• 在必需消费品行业，该模型的R²达到0.538（GARCH为0.406），MSE为3.04×10⁻⁵（GARCH为3.98×10⁻⁵），MAE为3.72×10⁻³（GARCH为4.34×10⁻³）。
• 使用SNLI NLI数据集预训练的句向量编码器，结合BiLSTM + 最大池化架构，在所有测试的句向量编码器中表现最佳。
• 消融实验表明，新闻相关性注意力层显著优于对每日新闻进行简单平均的方法。
• 完全移除新闻模态后预测准确率下降，证实了文本信息的附加价值。
• 该模型在各行业中均表现出稳健的泛化能力，所有评估指标上均持续优于GARCH(1,1)。