[论文解读] Visual Attention Model for Cross-sectional Stock Return Prediction and End-to-End Multimodal Market Representation Learning

Ran Zhao, Yuntian Deng+4 more|arXiv (Cornell University)|Sep 11, 2018

Stock Market Forecasting Methods被引用 8

一句话总结

该论文提出一种视觉注意力模型，将股票市场表示为‘市场图像’——即由股票（行）和财务指标（列）组成的二维矩阵——以实现多模态市场表征的端到端学习。通过使用卷积神经网络与循环网络结合注意力机制，该方法提升了横截面股票收益预测性能，并学习到紧凑且可重构的市场嵌入表示，其重构精度优于主成分分析（PCA）。

ABSTRACT

Technical and fundamental analysis are traditional tools used to analyze individual stocks; however, the finance literature has shown that the price movement of each individual stock correlates heavily with other stocks, especially those within the same sector. In this paper we propose a general purpose market representation that incorporates fundamental and technical indicators and relationships between individual stocks. We treat the daily stock market as a "market image" where rows (grouped by market sector) represent individual stocks and columns represent indicators. We apply a convolutional neural network over this market image to build market features in a hierarchical way. We use a recurrent neural network, with an attention mechanism over the market feature maps, to model temporal dynamics in the market. We show that our proposed model outperforms strong baselines in both short-term and long-term stock return prediction tasks. We also show another use for our market image: to construct concise and dense market embeddings suitable for downstream prediction tasks.

研究动机与目标

• 开发一种通用的市场表征方法，整合基本面、 技术面与市场结构信息，以提升股票收益预测性能。
• 利用在分层市场特征图上应用注意力机制的循环神经网络（RNN），对金融市场的时间动态进行建模。
• 通过卷积自编码器学习通用、密集且紧凑的市场嵌入表示，以保持原始市场图像的保真度。
• 证明从原始市场图像进行端到端学习，相较于传统手工设计特征与主成分分析（PCA），在预测与表征任务中均表现更优。

提出的方法

• 构建一个 m×n 的‘市场图像’矩阵，其中行代表按行业分组的股票，列代表基本面、 技术面与价格-成交量指标。
• 应用卷积神经网络（CNN）从市场图像中提取分层的空间特征，捕捉同一行业内股票之间的关系。
• 在 CNN 提取的特征图上使用带有注意力机制的循环神经网络（RNN），对随时间推移的堆叠市场图像进行时间动态建模。
• 实现一个编码器-解码器架构的全卷积自编码器（MarketSegNet），以学习紧凑、密集的市场嵌入表示，实现对原始市场图像的像素级重建。
• 使用像素级回归损失训练自编码器，以确保输入市场图像的高保真度重建。
• 在不同嵌入维度（16 至 128）下，将 MarketSegNet 的重建性能与 PCA 进行对比。

实验结果

研究问题

• RQ1 将市场视为图像并采用视觉注意力模型，是否能相比基线模型提升横截面股票收益预测性能？
• RQ2 将基本面、 技术面与市场结构信息整合到统一的多模态表征中，对股票预测的有效性如何？
• RQ3 卷积自编码器能否学习到通用且紧凑的市场嵌入表示，其信息保留能力是否优于主成分分析（PCA）？
• RQ4 在分层市场特征上应用注意力机制，是否能增强股票收益的时间建模能力？
• RQ5 所学习的市场嵌入在多大程度上能以高保真度重建原始市场图像？

主要发现

• 所提出的市场感知模型结合注意力机制的 RNN，在短期与长期股票收益预测任务中均优于强基线模型。
• 在所有测试的嵌入尺寸（16 至 128）下，MarketSegNet 自编码器的重建误差均低于 PCA，表明其具有更优的信息保留能力。
• MarketSegNet 学习到的嵌入表示能够保留市场图像中的空间与时间模式，实现高保真度的像素级重建。
• 通过 CNN 实现的分层特征学习能有效捕捉行业层面的趋势与股票间关系。
• RNN 中的注意力机制通过动态加权重要市场特征，提升了时间建模能力。
• 实验表明，从原始市场图像进行端到端学习，相比传统降维方法（如 PCA），在预测与表征性能上均表现更优。