[论文解读] Reinforced Deep Markov Models With Applications in Automatic Trading

Tadeu Augusto Ferreira|arXiv (Cornell University)|Nov 9, 2020

Stock Market Forecasting Methods参考文献 27被引用 4

一句话总结

本文提出基于强化学习的深度隐马尔可夫模型（RDMM），这是一种将变分自编码器与深度隐马尔可夫模型相结合的基于模型的强化学习框架，用于处理算法交易中噪声大、不完整市场数据的问题。通过过滤观测数据并将状态不确定性融入策略学习，RDMM 提升了数据效率与金融表现，在 Facebook、Intel、Vodafone 和 Microsoft 的真实限价单簿数据上，优于 Q-learning、DynaQ-ARIMA 和 DynaQ-LSTM 基线模型。

ABSTRACT

Inspired by the developments in deep generative models, we propose a model-based RL approach, coined Reinforced Deep Markov Model (RDMM), designed to integrate desirable properties of a reinforcement learning algorithm acting as an automatic trading system. The network architecture allows for the possibility that market dynamics are partially visible and are potentially modified by the agent's actions. The RDMM filters incomplete and noisy data, to create better-behaved input data for RL planning. The policy search optimisation also properly accounts for state uncertainty. Due to the complexity of the RKDF model architecture, we performed ablation studies to understand the contributions of individual components of the approach better. To test the financial performance of the RDMM we implement policies using variants of Q-Learning, DynaQ-ARIMA and DynaQ-LSTM algorithms. The experiments show that the RDMM is data-efficient and provides financial gains compared to the benchmarks in the optimal execution problem. The performance improvement becomes more pronounced when price dynamics are more complex, and this has been demonstrated using real data sets from the limit order book of Facebook, Intel, Vodafone and Microsoft.

研究动机与目标

• 解决经典 Q-learning 在高维、噪声大且部分可观测的金融环境中所面临的局限性。
• 通过在策略学习过程中整合不确定性建模，提升算法交易中的数据效率与鲁棒性。
• 构建一个统一框架，将深度生成模型与基于模型的强化学习相结合，用于金融时间序列分析。
• 使用真实市场数据，在最优执行任务中评估所提出的 RDMM 与现有基准模型的性能表现。

提出的方法

• RDMM 采用结合变分推断的深度隐马尔可夫模型架构，从噪声大、不完整的市场观测中建模潜在状态。
• 利用可微分的滤波机制估计潜在状态的后验分布，同时考虑观测噪声与模型不确定性。
• 采用基于梯度的优化方法，最大化期望回报，同时显式地将滤波后状态估计中的不确定性纳入优化过程。
• 通过学习的动力学模型实现基于模型的规划，支持高效的经验回放与基于模拟的学习。
• 模型通过时间反向传播与可微强化学习目标进行端到端训练，并通过消融实验分离各组件的贡献。
• 该方法以 Q-learning、DynaQ-ARIMA 和 DynaQ-LSTM 作为基线进行评估，其中 RDMM 取代了 DynaQ 中的模型组件。

实验结果

研究问题

• RQ1 深度生成模型是否能在部分可观测条件下，提升基于强化学习的算法交易中的数据效率与性能？
• RQ2 在最优执行任务中，将状态不确定性纳入策略优化过程，对金融表现有何影响？
• RQ3 在具有复杂价格动态的真实市场数据中，RDMM 是否优于标准的无模型与基于模型的基线模型？
• RQ4 VAE、DMM 与不确定性感知策略各组件对整体性能的贡献如何？

主要发现

• 在所有测试股票中，RDMM 相较于 Q-learning、DynaQ-ARIMA 和 DynaQ-LSTM 均实现显著的财务收益提升，尤其在复杂市场环境下表现最为突出。
• 该模型展现出卓越的数据效率，得益于精确的状态过滤与不确定性感知规划，能够在更少交互次数下学习到有效策略。
• 消融实验确认，变分推断与不确定性建模的整合对性能至关重要，尤其在噪声大或观测不完整的情况下。
• 在 Facebook、Intel、Vodafone 和 Microsoft 的真实限价单簿数据上，RDMM 在累计利润与风险调整后收益方面始终优于所有基线模型。
• 随着市场复杂性的提升，性能增益也相应增加，表明该模型在波动性高且非马尔可夫性环境中具备强鲁棒性。