[论文解读] Transformers for Limit Order Books
本文提出 TransLOB，一种新颖的深度学习架构，结合扩张因果卷积网络与掩码多头自注意力机制，从限价订单簿（LOB）数据中预测价格走势。通过利用局部特征提取与关系上下文建模，同时保持因果顺序，TransLOB 在 FI-2010 LOB 基准测试中达到最先进性能，优于先前模型如 LSTM、CNN-LSTM 和 DeepLOB，尤其在较长预测时 horizon（例如，k=20 时准确率达 88.12%）。
We introduce a new deep learning architecture for predicting price movements from limit order books. This architecture uses a causal convolutional network for feature extraction in combination with masked self-attention to update features based on relevant contextual information. This architecture is shown to significantly outperform existing architectures such as those using convolutional networks (CNN) and Long-Short Term Memory (LSTM) establishing a new state-of-the-art benchmark for the FI-2010 dataset.
研究动机与目标
- 开发一种端到端的深度学习模型，直接从原始限价订单簿数据中学习相关特征，无需依赖手工设计特征或市场假设。
- 通过结合局部时间特征提取与时间序列 LOB 数据中的长程关系依赖，超越现有架构（如 CNN 和 LSTM）的性能表现。
- 通过具备强因果性与注意力归纳偏置的模型，在 FI-2010 数据集上建立价格走势预测的新最先进基准。
- 通过分析注意力分布提升模型可解释性，揭示模型认为对预测最具相关性的历史事件。
提出的方法
- 模型使用扩张因果卷积层从原始 LOB 数据中提取局部时间特征，通过逐步增大的扩张率扩展感受野。
- 提取的特征经由多个掩码多头自注意力模块处理，其中每个查询仅关注过去的键，以保持因果结构。
- 在每个 Transformer 模块中集成残差连接与层归一化，以稳定训练过程并改善梯度流动。
- 使用位置嵌入编码相对时间位置，使注意力机制能够区分时间距离。
- 采用标准交叉熵损失进行端到端训练，用于价格走势方向的二分类任务。
- 因果掩码机制确保注意力计算过程中不使用任何未来信息，维持时间一致性。
实验结果
研究问题
- RQ1结合扩张因果卷积与掩码自注意力的混合架构是否能在 LOB 数据价格走势预测任务中超越 LSTM 和 CNN 等现有模型？
- RQ2自注意力机制在尊重时间因果性的前提下，能否有效捕捉高维、噪声较大的 LOB 序列中的长程依赖关系？
- RQ3该模型的注意力机制在多大程度上突显了 LOB 数据中有意义的时间模式，从而相比 RNN 基模型提升可解释性？
- RQ4与先前最先进模型相比，该架构在 LOB 预测任务中是否展现出更优的样本效率与泛化能力？
- RQ5在 FI-2010 数据集上，性能在不同预测时 horizon（k=10, 20, 50, 100）下如何变化？
主要发现
- 在预测时 horizon k=10 时，TransLOB 准确率达 78.78%，显著优于此前最先进模型 C(TABL) 的 73.74% 与 DeepLOB 的 74.85%。
- 在 k=20 时，TransLOB 准确率达 88.12%，超越 DeepLOB 的 80.51% 与 C(TABL) 的 79.87%，展现出在长时 horizon 下的强劲性能。
- 在 k=50 时，TransLOB 准确率达 91.62%，表明其对扩展预测窗口具有鲁棒性，并具备优越的长程建模能力。
- 在 k=100 时，TransLOB 维持高表现，F1 得分为 91.61%，证实其在日益遥远预测目标下的稳定性与可扩展性。
- 注意力可视化显示，多个头聚焦于近期 LOB 事件，尤其在第二和第三头中表现明显，与价格预测的直观预期一致。
- 模型展现出高样本效率，表明尽管 FI-2010 数据集规模有限，其仍具备良好泛化能力，且经进一步调优后在更大数据集上具有显著扩展潜力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。