[论文解读] Stock Movement Prediction Based on Bi-typed Hybrid-relational Market Knowledge Graph via Dual Attention Networks

Yu Zhao, Huaming Du+7 more|arXiv (Cornell University)|Jan 11, 2022

Stock Market Forecasting Methods被引用 12

一句话总结

本文提出 DanSmp，一种双注意力网络，利用双类型混合关系型市场知识图谱——包含上市公司及其高管的显式与隐式关系——以提升股票价格走势预测性能。通过在跨类别与同类别间运用注意力机制建模动量溢出效应，DanSmp 在两个自建数据集上达到最先进性能，在 CSI100E 上准确率最高达 57.75%，AUC 达 60.78%。

ABSTRACT

Stock Movement Prediction (SMP) aims at predicting listed companies' stock future price trend, which is a challenging task due to the volatile nature of financial markets. Recent financial studies show that the momentum spillover effect plays a significant role in stock fluctuation. However, previous studies typically only learn the simple connection information among related companies, which inevitably fail to model complex relations of listed companies in the real financial market. To address this issue, we first construct a more comprehensive Market Knowledge Graph (MKG) which contains bi-typed entities including listed companies and their associated executives, and hybrid-relations including the explicit relations and implicit relations. Afterward, we propose DanSmp, a novel Dual Attention Networks to learn the momentum spillover signals based upon the constructed MKG for stock prediction. The empirical experiments on our constructed datasets against nine SOTA baselines demonstrate that the proposed DanSmp is capable of improving stock prediction with the constructed MKG.

研究动机与目标

• 为解决先前模型因公司关系建模过于简化，而无法捕捉金融市场中复杂动量溢出效应的局限性。
• 构建一个全面的市场知识图谱（MKG），包含上市公司及其关联高管作为双类型实体，以及显式与隐式关系。
• 开发一种新型深度学习模型 DanSmp，能够学习异质实体与混合关系之间的跨类别与同类别交互，以提升股票价格走势预测性能。
• 通过在真实世界金融数据集上与九种最先进基线模型对比，实证验证所提 MKG 与 DanSmp 模型的有效性。

提出的方法

• 构建一个包含上市公司及其关联高管的双类型混合关系型市场知识图谱（MKG），其中三元组涵盖显式与隐式关系。
• 设计一种双注意力网络（DanSmp）模型，包含两个核心模块：跨类别注意力模块用于建模公司与高管之间的交互，同类别注意力模块用于建模每类实体内部的交互。
• 在图神经网络的消息传递过程中，引入可学习注意力权重，动态强调重要关系，特别是隐式关系。
• 采用双分支架构分别处理公司与高管实体，随后融合其表征以进行最终预测。
• 使用交叉熵损失函数，基于历史价格趋势端到端训练模型，注意力分数根据关系类型与节点特征进行自适应调整。
• 引入基于阈值的机制，根据相似度分数过滤隐式关系，并对超参数 T（回溯窗口）与 η（阈值）进行敏感性分析。

Figure 1. Example of a bi-typed (i.e. listed companies , and executives ) hybrid-relational (i.e. explicit relations , and implicit relation ) market knowledge graph (MKG). The relational information in MKG is essential for stock prediction but has not been well utilized in previous works.

实验结果

研究问题

• RQ1 在 MKG 中包含关联高管与隐式关系，对股票价格走势预测性能有何影响？
• RQ2 与同质或单注意力模型相比，双注意力机制在多大程度上能提升特征表征学习能力？
• RQ3 哪些类型的关系（如行业、供应链、投资、业务合作、隐式关系）对预测性能贡献最为显著？
• RQ4 模型性能对超参数（如回溯窗口大小 T 与隐式关系阈值 η）的敏感程度如何？
• RQ5 各组件（高管、隐式关系、双注意力）对整体性能提升的贡献分别是什么？

主要发现

• 所提出的 DanSmp 模型在 CSI100E 数据集上达到 57.75% 的准确率与 60.78% 的 AUC，优于全部九种 SOTA 基线模型。
• 消融实验证实，若移除关联高管，准确率将下降至 52.71%，表明其在性能提升中起关键作用。
• 引入隐式关系可显著提升性能，若将其移除，准确率将降至 53.52%，表明其在捕捉隐藏动量溢出信号方面具有重要价值。
• 模型为隐式关系分配最高的注意力权重，其次为行业、供应链与投资关系，而业务合作关系获得最低分数，表明密集的显式关系可能存在噪声。
• 在 CSI100E 上，当回溯窗口大小 T ≈ 20 且隐式关系阈值 η = 0.0054 时，性能达到最优；随着 η 值升高，性能下降，因有意义边的丢失。
• 敏感性分析表明，性能随 η 增大先上升后下降，表明在降噪与信息保留之间存在权衡。

Figure 2. The overall framework of the proposed method. (I) Learning Stock Sequential Embeddings based on Tensor Fusion and GRU. Tensor Fusion is the Neural Tensor Network (NTN) to learn the fusion of the technical indicators vector ${\bf p}_{i}$ and media news sentiment features ${\bf q}_{i}$ . The