[论文解读] Stock Market Analysis with Text Data: A Review

Kamaladdin Fataliyev, Aneesh Sreevallabh Chivukula+2 more|arXiv (Cornell University)|Jun 23, 2021

Stock Market Forecasting Methods被引用 6

一句话总结

本文综述了基于文本的股票市场分析，涵盖数据来源、特征表示技术及预测模型。提出了股票预测模型的分类体系，指出了当前方法的局限性，并提出了未来在多模态融合、先进深度学习以及领域特定情感分析方面的研究方向，以提升金融预测性能。

ABSTRACT

Stock market movements are influenced by public and private information shared through news articles, company reports, and social media discussions. Analyzing these vast sources of data can give market participants an edge to make profit. However, the majority of the studies in the literature are based on traditional approaches that come short in analyzing unstructured, vast textual data. In this study, we provide a review on the immense amount of existing literature of text-based stock market analysis. We present input data types and cover main textual data sources and variations. Feature representation techniques are then presented. Then, we cover the analysis techniques and create a taxonomy of the main stock market forecast models. Importantly, we discuss representative work in each category of the taxonomy, analyzing their respective contributions. Finally, this paper shows the findings on unaddressed open problems and gives suggestions for future work. The aim of this study is to survey the main stock market analysis models, text representation techniques for financial market prediction, shortcomings of existing techniques, and propose promising directions for future research.

研究动机与目标

• 综述基于文本的股票市场分析的最新研究进展，重点关注文本数据来源及其对市场预测的影响。
• 识别现有方法的不足之处，特别是在特征表示和模型泛化能力方面。
• 提出未来在多模态数据融合、先进深度学习以及金融领域特定NLP技术方面的研究方向。
• 基于文本输入和分析技术，提出股票市场预测模型的全面分类体系。
• 解决官方企业公告使用不足的问题，并强调在金融文本分析中采用领域适配的情感词典的必要性。

提出的方法

• 系统性地对输入数据类型进行分类，包括新闻、社交媒体和企业披露文件，并分析其独特特征及对市场波动的影响。
• 回顾特征表示技术，如词嵌入、句子嵌入和事件嵌入，强调其在捕捉金融语义方面的作用。
• 将股票预测模型分类为传统机器学习、深度学习和混合架构，重点关注其性能与局限性。
• 评估情感分析在金融语境下的有效性，强调需要使用金融领域专用的情感词典，而非通用领域工具。
• 提出端到端的深度学习框架，将文本处理与预测整合于单一模型中，减少对手动特征工程的依赖。
• 讨论新兴技术，如图神经网络和生成对抗网络，用于建模复杂市场动态并提升模型鲁棒性。

实验结果

研究问题

• RQ1 不同文本数据源（如新闻、社交媒体和企业公告）如何影响股价波动？
• RQ2 哪些是最有效的金融文本特征表示技术？它们与通用NLP方法相比有何差异？
• RQ3 传统机器学习模型在基于文本的股票预测中在多大程度上优于深度学习模型？其局限性体现在何处？
• RQ4 与单模态方法相比，结合文本数据、价格数据和技术指标的多模态数据融合在多大程度上能提升预测准确性？
• RQ5 金融文本情感分析中的关键开放问题是什么？如何通过领域特定词典提升模型性能？

主要发现

• 尽管传统机器学习模型在基于文本的股票预测中仍占主导地位，但其存在过拟合问题，并严重依赖预处理。
• 使用迁移学习和高级表示（如句子嵌入）的深度学习模型在捕捉复杂模式方面优于标准模型。
• 使用通用领域情感词典的情感分析往往无法捕捉金融领域的细微语义，导致预测准确率下降。
• 尽管企业公告具有高度信息价值和官方性质，但在当前研究中仍被低估。
• 将文本数据与技术指标或价格数据结合的多模态方法（以2D图像格式呈现）在提升模型性能方面展现出潜力。
• 融合多种学习技术（如CNN、RNN、GAN）的混合模型通过整合不同架构的互补优势，表现出更优性能。