[论文解读] Using NLP on news headlines to predict index trends

Marc Velay, Fabrice Daniel|arXiv (Cornell University)|Jun 22, 2018

Advanced Text Analysis Techniques参考文献 2被引用 3

一句话总结

本研究探讨了利用新闻标题的自然语言处理（NLP）是否能够预测道琼斯工业平均指数（DJIA）的日度走势。通过情感分析、词嵌入（Word2Vec、TF-IDF、词袋模型）以及机器学习模型（LSTM、MLP、SVM），作者发现预测性能仅略高于随机猜测，逻辑回归模型的最高准确率为57%，表明在长时间范围内，标题情感与指数走势之间的相关性有限。

ABSTRACT

This paper attempts to provide a state of the art in trend prediction using news headlines. We present the research done on predicting DJIA trends using Natural Language Processing. We will explain the different algorithms we have used as well as the various embedding techniques attempted. We rely on statistical and deep learning models in order to extract information from the corpuses.

研究动机与目标

• 确定新闻标题的情感与语言特征是否能够预测DJIA指数的日度变动。
• 评估多种NLP技术（如情感分析、词嵌入、命名实体识别）在预测金融趋势方面的有效性。
• 比较传统机器学习模型（如SVM、随机森林）与深度学习模型（如LSTM、MLP）在使用文本数据进行趋势预测时的表现。
• 评估结合情感、主观性与金融指标是否能提升预测准确性。

提出的方法

• 本研究使用2008年至2015年底期间每日前25条新闻标题组成的语料库，涵盖道琼斯工业平均指数。
• 文本预处理包括去除停用词、命名实体识别（NER）以及标点符号去除，以优化输入数据。
• 通过Word2Vec、TF-IDF与词袋模型生成词嵌入，并采用与不采用n-gram的方式以增强特征表示。
• 采用基于词典的方法提取情感与主观性得分，并尝试检测讽刺语气。
• 对多种分类器（包括逻辑回归、SVM、随机森林、极端梯度提升、LSTM与MLP）使用编码后的标题特征进行训练与评估。
• 模型评估采用9个月训练与3个月测试窗口，以确保时间相关性，避免数据泄露。

实验结果

研究问题

• RQ1 能否通过NLP提取的新闻标题情感有效预测DJIA指数的日度变动，且达到统计显著的准确率？
• RQ2 当与机器学习模型结合时，不同词嵌入技术（Word2Vec、TF-IDF、词袋模型）在预测指数走势方面的表现如何比较？
• RQ3 结合情感、主观性与金融指标是否能显著提升预测性能，优于仅使用情感信息？
• RQ4 新闻数据的时间分布在多大程度上影响模型的泛化能力与长期预测有效性？
• RQ5 多模态学习（如情感+上下文+金融数据）是否能优于单模态方法？

主要发现

• 最高验证准确率为57%（使用逻辑回归），表明仅略高于随机猜测（50%）的水平。
• LSTM模型达到55%的准确率，表明循环网络在时间建模方面略优于前馈网络。
• 结合情感、主观性与金融指标并未显著提升性能，结果仅略优于基线水平。
• Word2Vec嵌入在使用向量求和而非均值或基于距离的聚合方式时表现最佳，性能提升4至5个百分点。
• 模型的预测能力受限于数据偏差，包括新闻媒体中的负面偏见，以及长期训练在不断演变的语言与事件中所导致的时间无关性。
• 本研究结论认为，当前的NLP模型无法可靠地从标题中预测指数走势，原因在于情感与指数走势之间相关性微弱，且模型随时间表现出不稳定性。