[论文解读] QADQN: Quantum Attention Deep Q-Network for Financial Market Prediction

Siddhant Dutta, Nouhaila Innan+3 more|arXiv (Cornell University)|Aug 6, 2024

Stock Market Forecasting Methods被引用 4

一句话总结

该论文提出QADQN，一种量子-经典混合强化学习框架，通过量子注意力机制将变分量子线路与深度Q网络相结合，以提升金融市场的预测能力。在考虑交易成本的S&P 500数据上，其在非重叠和重叠测试周期中的Sortino比率分别达到1.28和1.19，优于Buy & Hold和DDPG基线模型，实现了更优的风险调整后收益。

ABSTRACT

Financial market prediction and optimal trading strategy development remain challenging due to market complexity and volatility. Our research in quantum finance and reinforcement learning for decision-making demonstrates the approach of quantum-classical hybrid algorithms to tackling real-world financial challenges. In this respect, we corroborate the concept with rigorous backtesting and validate the framework's performance under realistic market conditions, by including fixed transaction cost per trade. This paper introduces a Quantum Attention Deep Q-Network (QADQN) approach to address these challenges through quantum-enhanced reinforcement learning. Our QADQN architecture uses a variational quantum circuit inside a traditional deep Q-learning framework to take advantage of possible quantum advantages in decision-making. We gauge the QADQN agent's performance on historical data from major market indices, including the S&P 500. We evaluate the agent's learning process by examining its reward accumulation and the effectiveness of its experience replay mechanism. Our empirical results demonstrate the QADQN's superior performance, achieving better risk-adjusted returns with Sortino ratios of 1.28 and 1.19 for non-overlapping and overlapping test periods respectively, indicating effective downside risk management.

研究动机与目标

• 解决经典深度强化学习在高维、噪声大且非平稳的市场数据下进行金融交易时的局限性。
• 通过将变分量子线路集成到深度Q学习框架中，利用量子计算优势以增强决策能力。
• 通过用多头量子注意力层替代经典注意力机制，改进金融序列建模中的注意力机制。
• 在包含固定交易成本和通过部分可观察性POMDP设置的现实市场条件下验证该框架的性能。
• 与Buy & Hold和DDPG等成熟基线模型相比，展示更优的风险调整后表现。

提出的方法

• 在深度Q网络中集成变分量子线路（VQC），以实现量子增强的特征表示与决策能力。
• 用量子注意力机制替代经典多头注意力，以提升对相关市场特征的关注度并降低计算开销。
• 采用POMDP框架建模金融市场的部分可观察性，增强在不确定性下的鲁棒性。
• 通过预先用Dual Thrust策略的动作填充回放缓冲区，实施模仿学习，以在训练期间平衡探索与利用。
• 同时应用标准与优先经验回放，以稳定学习过程并提升样本效率。
• 采用0.2%佣金率的回溯测试，并使用夏普比率、Sortino比率和最大回撤等指标评估性能。

Figure 1: QADQN Agent Architecture: The architecture begins with an LSTM network, which processes the input features along with the previous hidden and cell states $(h(t-1),c(t-1))$ to produce the current hidden and cell states $(h(t),c(t))$ . The output of the LSTM is then passed through a pre-net

实验结果

研究问题

• RQ1 与经典基线相比，采用量子注意力的量子增强深度Q网络是否能提升金融市场的预测与交易表现？
• RQ2 将变分量子线路集成到深度Q学习框架中，对金融时间序列学习的稳定性与收敛性有何影响？
• RQ3 在高维金融数据中，量子注意力在捕捉相关时间与市场特征方面，相较于经典注意力机制在多大程度上表现更优？
• RQ4 在包含交易成本和部分可观察性的现实市场条件下，QADQN框架的性能如何？
• RQ5 模仿学习与量子注意力的结合是否能实现金融交易智能体更优的探索-利用平衡？

主要发现

• 在非重叠测试周期中，QADQN框架实现了71.26%的总收益，显著优于Buy & Hold策略（44.22%）和DDPG（15.94%）。
• 该模型在非重叠周期中展现出强劲的风险调整后表现，Sortino比率为1.28，表明其有效控制了下行风险。
• 非重叠周期的夏普比率为0.77，重叠周期为0.82，反映出在不同市场条件下均保持一致的风险调整后收益。
• 在两个测试周期中，最大回撤均稳定在19.24%，表明在市场下跌期间具备稳健的亏损控制能力。
• QADQN模型在所有关键指标（包括收益、夏普比率和Sortino比率）上均优于Buy & Hold和DDPG基线模型。
• 可视化分析确认，智能体学会了在较低价格水平买入、在较高价格水平卖出，表明其有效捕捉了市场趋势。

Figure 2: Quantum layer circuit: It begins with data encoding using angle embedding, where input data is encoded into the quantum state via parameterized rotation gates $R_{X}(\theta_{i})$ . The encoded quantum states are then processed by a parameterized quantum circuit consisting of additional par