[论文解读] Reinforcement Learning for Quantitative Trading

Shuo Sun, Rundong Wang+1 more|arXiv (Cornell University)|Sep 28, 2021

Stock Market Forecasting Methods参考文献 140被引用 5

一句话总结

本文对强化学习（RL）在量化交易中的应用进行了全面综述，提出了基于强化学习的量化交易模型分类法，并分析了前沿方法。文章强调了RL在端到端学习、直接优化收益以及处理交易成本方面的优势，同时指出了关键挑战，如仿真真实性不足、评估不一致，以及亟需自动化机器学习工具以提升可及性与基准测试水平。

ABSTRACT

Quantitative trading (QT), which refers to the usage of mathematical models and data-driven techniques in analyzing the financial market, has been a popular topic in both academia and financial industry since 1970s. In the last decade, reinforcement learning (RL) has garnered significant interest in many domains such as robotics and video games, owing to its outstanding ability on solving complex sequential decision making problems. RL's impact is pervasive, recently demonstrating its ability to conquer many challenging QT tasks. It is a flourishing research direction to explore RL techniques' potential on QT tasks. This paper aims at providing a comprehensive survey of research efforts on RL-based methods for QT tasks. More concretely, we devise a taxonomy of RL-based QT models, along with a comprehensive summary of the state of the art. Finally, we discuss current challenges and propose future research directions in this exciting field.

研究动机与目标

• 为不同应用领域中的现有基于强化学习的量化交易模型提供系统性分类与概览。
• 分析强化学习技术在解决金融领域复杂序列决策问题中的优势与局限。
• 识别当前基于强化学习的量化交易研究中在仿真保真度、评估严谨性与模型可访问性方面的关键开放挑战。
• 提出未来研究方向，包括整合自动机器学习（auto-ML）与高保真市场仿真器，以提升实际可用性与基准测试标准。
• 通过标准化数据集与基线，为强化学习方法在量化金融中的稳定、可复现评估建立基础。

提出的方法

• 提出一种新颖的分类法，基于强化学习算法类型与金融应用领域（如算法交易、投资组合管理、做市商）对基于强化学习的量化交易模型进行分类。
• 回顾应用于QT任务的前沿强化学习方法，强调在风险约束下针对收益最大化的奖励函数设计的端到端训练。
• 引入将自动机器学习技术（特别是自动化特征工程、超参数调优与神经架构搜索）整合进系统，以降低非专家用户的使用门槛。
• 倡导采用高保真市场仿真器，整合市场冲击与事件级动态，超越简单的历史数据重放。
• 建议采用标准化评估协议，包括滚动数据划分、基线间一致的超参数调优，以及多资产、多市场测试，以确保评估的鲁棒性与公平性。
• 提议使用标准化指标与仿真质量评估工具，以验证合成市场环境的真实性。

实验结果

研究问题

• RQ1 如何在量化交易应用背景下，系统性地对基于强化学习的方法进行分类与组织？
• RQ2 与传统规则驱动方法及监督学习方法相比，强化学习在量化交易中的主要优势是什么？
• RQ3 当前基于强化学习的量化交易研究中，主要局限性是什么，特别是在仿真真实性与评估实践方面？
• RQ4 自动机器学习技术如何提升非专家从业者使用基于强化学习的交易系统的可访问性与性能？
• RQ5 需要哪些标准化评估框架，以确保在量化金融领域中新型强化学习算法评估的公平性、可复现性与泛化能力？

主要发现

• 强化学习可实现从市场数据到交易动作的端到端学习，无需精确预测价格，直接优化长期收益。
• 当前基于强化学习的量化交易方法常因过拟合与缺乏稳健的仿真环境，导致在不同市场周期中难以泛化。
• 现有评估存在数据集划分不一致、基线选择随意、超参数调优不均等问题，严重影响结果的可靠性与可比性。
• 在仿真环境中整合市场冲击与真实订单簿动态仍处于发展初期，限制了强化学习智能体在现实世界中的有效性。
• 自动机器学习技术在自动化特征选择、超参数调优与神经架构设计方面展现出巨大潜力，可显著提升基于强化学习的交易系统对非专家用户的可访问性。
• 亟需建立标准化评估协议，包括滚动数据划分、多资产测试与公平的超参数调优，以可靠推进该领域发展。