[论文解读] StockEmotions: Discover Investor Emotions for Financial Sentiment Analysis and Multivariate Time Series

Jean Lee, Hoyoul Luis Youn+2 more|arXiv (Cornell University)|Jan 23, 2023

Stock Market Forecasting MethodsDecision Sciences被引用 3

一句话总结

本文提出了 StockEmotions，一个全新的10,000条样本的金融社交媒体评论数据集，源自 StockTwits，标注了12种细粒度情绪类别和金融情感，支持高级情感与情绪分析。通过混合人工-预训练语言模型（PLM）的标注流程，研究证明在时间注意力LSTM中结合文本、情绪与价格特征，可显著提升S&P 500多变量时间序列预测性能，超越仅使用价格数据的模型。

ABSTRACT

There has been growing interest in applying NLP techniques in the financial domain, however, resources are extremely limited. This paper introduces StockEmotions, a new dataset for detecting emotions in the stock market that consists of 10,000 English comments collected from StockTwits, a financial social media platform. Inspired by behavioral finance, it proposes 12 fine-grained emotion classes that span the roller coaster of investor emotion. Unlike existing financial sentiment datasets, StockEmotions presents granular features such as investor sentiment classes, fine-grained emotions, emojis, and time series data. To demonstrate the usability of the dataset, we perform a dataset analysis and conduct experimental downstream tasks. For financial sentiment/emotion classification tasks, DistilBERT outperforms other baselines, and for multivariate time series forecasting, a Temporal Attention LSTM model combining price index, text, and emotion features achieves the best performance than using a single feature.

研究动机与目标

• 解决金融NLP领域中大规模、细粒度金融情感与情绪数据集稀缺的问题。
• 克服现有数据集缺乏情绪粒度、表情符号及时间序列对齐的局限性。
• 开发一种稳健的多步骤标注流程，结合预训练语言模型与专家验证，实现情绪标注。
• 证明投资者情绪在提升多变量股票市场时间序列预测性能方面的实用性。
• 为金融情感与情绪分类建立基线模型，并为联合使用文本、情绪与价格数据进行S&P 500预测建立基线模型。

提出的方法

• 从 StockTwits（一个金融社交媒体平台）收集了10,000条英文评论，聚焦于投资者情绪与情感表达。
• 设计了一个基于行为金融学与心理学研究的12种类情绪分类体系，包括兴奋、焦虑、愤怒与乐观等情绪。
• 采用混合标注流程：首先使用预训练语言模型（PLM）预测情绪，再由金融专家与人工标注员进行验证与修正。
• 整合多种数据模态：金融情感（看涨/看跌）、细粒度情绪、表情符号以及时间序列股票指数数据（如S&P 500）。
• 训练并评估了七种基线模型——逻辑回归、NBSVM、GRU、Bi-GRU、DistilBERT、BERT与RoBERTa——用于情感与情绪分类。
• 构建了一个时间注意力LSTM模型，联合处理价格指数、文本情感与情绪特征，以实现对S&P 500走势的预测，并在时间窗口上应用注意力机制。

Figure 1: Example from StockEmotions dataset showing investor psychology on the stock market. A combination of input data (stock price index, text and emoji, and emotion label) is used on a Temporal Attention LSTM for multivariate time series forecasting. (blue line = the actual S&P index, orange li

实验结果

研究问题

• RQ1 细粒度的12种类情绪分类体系是否能超越二元情感标签，在金融情感与情绪分类中带来性能提升？
• RQ2 混合人工-PLM标注流程在生成金融文本可靠情绪标签方面的有效性如何？
• RQ3 当与价格和文本数据结合时，投资者情绪在多变量时间序列预测中的增强作用有多大？
• RQ4 在金融情感与情绪分类任务中，哪种深度学习架构——DistilBERT、BERT或LSTM——表现最佳？
• RQ5 在S&P 500预测中，联合建模文本、情绪与价格特征是否优于仅使用数值或文本输入的模型？

主要发现

• DistilBERT在金融情感分类中取得最高的F1得分0.81，在情绪分类中取得0.42，优于其他基线模型。
• 联合学习价格指数、文本与情绪特征的时间注意力LSTM模型，在S&P 500预测中表现最佳，优于仅使用价格数据的模型。
• 情绪分类性能中等，使用BERT时，Ekman映射的宏平均F1得分为0.48，Plutchik映射为0.40，表明金融文本中情绪检测仍有改进空间。
• 数据集显示金融俚语与讽刺表达普遍存在，导致模型误判——例如，'BTD'（逢低买入）与'ATH'（历史高点）常被错误分类。
• 情绪标签常与情感标签不一致，源于投资者持仓偏见：例如，多头投资者在股价下跌时表达愤怒，但情感标签仍被标记为'看涨'，反映出其潜在的乐观情绪。
• 模型性能对超参数调优敏感，学习率与Dropout值显著影响结果，尤其对小型模型如逻辑回归与NBSVM影响更大。

Figure 2: An overview of dataset creation pipeline.