[论文解读] Reinforcement Learning Applied to Trading Systems: A Survey

Leonardo Kanashiro Felizardo, Francisco Caio Lima Paiva+2 more|arXiv (Cornell University)|Nov 1, 2022

Auction Theory and Applications被引用 5

一句话总结

本综述对29项将强化学习（RL）应用于金融交易的研究进行了系统性、理论基础扎实的分析，提出了一套标准化的工作流程管道，以统一状态、动作和奖励设计等要素。研究识别出最佳实践，指出了标准化与可复现性方面的关键缺口，并倡导采用滚动窗口评估和开源代码，以推动该领域向更稳健、可比较、可靠的强化学习交易系统发展。

ABSTRACT

Financial domain tasks, such as trading in market exchanges, are challenging and have long attracted researchers. The recent achievements and the consequent notoriety of Reinforcement Learning (RL) have also increased its adoption in trading tasks. RL uses a framework with well-established formal concepts, which raises its attractiveness in learning profitable trading strategies. However, RL use without due attention in the financial area can prevent new researchers from following standards or failing to adopt relevant conceptual guidelines. In this work, we embrace the seminal RL technical fundamentals, concepts, and recommendations to perform a unified, theoretically-grounded examination and comparison of previous research that could serve as a structuring guide for the field of study. A selection of twenty-nine articles was reviewed under our classification that considers RL's most common formulations and design patterns from a large volume of available studies. This classification allowed for precise inspection of the most relevant aspects regarding data input, preprocessing, state and action composition, adopted RL techniques, evaluation setups, and overall results. Our analysis approach organized around fundamental RL concepts allowed for a clear identification of current system design best practices, gaps that require further investigation, and promising research opportunities. Finally, this review attempts to promote the development of this field of study by facilitating researchers' commitment to standards adherence and helping them to avoid straying away from the RL constructs' firm ground.

研究动机与目标

• 通过基于基础强化学习理论的分析，解决强化学习在金融交易应用中缺乏标准化和概念清晰性的问题。
• 识别并系统化整理近期基于强化学习的交易系统中在状态、动作、奖励和评估设置方面的主流设计模式。
• 突出现有研究在可复现性、评估严谨性及方法一致性方面的关键缺口。
• 倡导最佳实践，如滚动窗口评估、开源代码共享以及遵循强化学习形式化规范，以提升可信度与可比性。
• 通过识别有前景的研究方向，如演员-评论家方法、与自然语言处理（NLP）及预测模型的整合，以及强化学习市场有效性指标的开发，为未来研究提供指导。

提出的方法

• 对2017至2022年间关于强化学习在交易系统中应用的29篇近期论文进行了系统性文献综述。
• 基于核心强化学习概念（如状态表示、动作空间、奖励塑造和环境动态）提出统一的工作流程管道。
• 从关键设计维度对研究进行分类：数据输入、预处理、状态与动作构成、强化学习算法选择、评估设置及性能指标。
• 通过滚动窗口评估、统计显著性检验以及代码可获取性等标准，评估方法论的严谨性。
• 利用理论强化学习基础（如马尔可夫决策过程、价值函数、策略梯度）评估其与正式强化学习结构的一致性。
• 识别算法采用趋势（如演员-评论家模型）以及与外部技术（如注意力机制、预测模型）整合的动向。

实验结果

研究问题

• RQ1 在近期基于强化学习的交易系统中，状态、动作和奖励设计的主要模式是什么？
• RQ2 各研究的评估设置与性能指标如何变化，这对可比性有何影响？
• RQ3 现有研究在多大程度上遵循了核心强化学习形式化规范？偏离所带来的后果是什么？
• RQ4 哪些方法论缺陷（如缺乏滚动窗口评估或开源代码）阻碍了可复现性与研究进展？
• RQ5 如与自然语言处理（NLP）或预测模型的整合等新兴研究方向，对推动强化学习在交易中的应用有何潜力？

主要发现

• 在29项研究中仅有1项公开了其源代码，凸显了该领域在可复现性方面存在重大缺口。
• 尽管滚动窗口评估对评估稳定性、泛化能力与统计显著性至关重要，但仅有少数研究采用该方法。
• 许多研究在奖励塑造和状态表示方面偏离了正式的强化学习原则，存在与强化学习理论不一致的风险。
• 演员-评论家方法的采用日益普遍，表明近期研究正朝着更稳定、样本效率更高的训练方向发展。
• 与外部模型（如预测工具和NLP编码器）的整合正在增长，表明状态表示正趋向于更丰富的形式。
• 评估与报告实践缺乏标准化，严重限制了研究间的数值比较与进展追踪。