[论文解读] PRUDEX-Compass: Towards Systematic Evaluation of Reinforcement Learning in Financial Markets

Shuo Sun, Molei Qin+2 more|arXiv (Cornell University)|Jan 14, 2023

Stock Market Forecasting MethodsDecision Sciences被引用 3

一句话总结

本文提出了 PRUDEX-Compass，一个针对金融市场的强化学习系统的六维评估框架，涵盖 17 项指标的盈利能力、风险控制、通用性、多样性、可靠性与可解释性。它提出了一种基于专家混合与风险感知的强化学习方法 AlphaMix+，在长期真实世界数据集上，其在所有维度上均优于现有的 FinRL 基线方法，并发布了开源工具，以加速可信的 FinRL 研究与部署。

ABSTRACT

The financial markets, which involve more than $90 trillion market capitals, attract the attention of innumerable investors around the world. Recently, reinforcement learning in financial markets (FinRL) has emerged as a promising direction to train agents for making profitable investment decisions. However, the evaluation of most FinRL methods only focuses on profit-related measures and ignores many critical axes, which are far from satisfactory for financial practitioners to deploy these methods into real-world financial markets. Therefore, we introduce PRUDEX-Compass, which has 6 axes, i.e., Profitability, Risk-control, Universality, Diversity, rEliability, and eXplainability, with a total of 17 measures for a systematic evaluation. Specifically, i) we propose AlphaMix+ as a strong FinRL baseline, which leverages mixture-of-experts (MoE) and risk-sensitive approaches to make diversified risk-aware investment decisions, ii) we evaluate 8 FinRL methods in 4 long-term real-world datasets of influential financial markets to demonstrate the usage of our PRUDEX-Compass, iii) PRUDEX-Compass together with 4 real-world datasets, standard implementation of 8 FinRL methods and a portfolio management environment is released as public resources to facilitate the design and comparison of new FinRL methods. We hope that PRUDEX-Compass can not only shed light on future FinRL research to prevent untrustworthy results from stagnating FinRL into successful industry deployment but also provide a new challenging algorithm evaluation scenario for the reinforcement learning (RL) community.

研究动机与目标

• 为解决现有 FinRL 方法缺乏系统性评估的问题，这些方法主要关注盈利指标，而忽视了风险、可靠性和可解释性。
• 开发一个全面的基准，以实现对 FinRL 算法在多个关键金融绩效维度上的公平且可信的比较。
• 提供一个强大且稳健的基线方法（AlphaMix+），其能模拟真实世界交易策略，并在所有评估维度上超越市场平均水平。
• 发布开源数据集、代码、环境与可视化工具，以加速可复现且面向产业的 FinRL 研究。

提出的方法

• 设计一个六维评估框架——PRUDEX-Compass，包含盈利能力、风险控制、通用性、多样性、可靠性与可解释性，并配备 17 项独立的性能指标。
• 提出 AlphaMix+，一种使用专家混合架构的深度强化学习智能体，以实现动态策略专业化，并采用风险敏感的 Bellman 更新，提升鲁棒性。
• 实现一个标准化的投资组合管理环境，并将其与四个涵盖超过 15 年的长期真实世界金融数据集集成。
• 在多个交易任务上，对 8 种 FinRL 方法（包括 AlphaMix+）进行系统性评估，以验证该框架的实用性和鲁棒性。
• 开发可视化工具包并建立公开的 GitHub 仓库，以支持该评估框架的可复现性与社区采纳。
• 集成波动率感知学习与多目标强化学习等辅助技术，以增强模型对极端市场条件的感知能力。

Figure 1 : Illustration of our FinRL methods evaluation benchmark PRUDEX-Compass. The inner star plot provides a visual indication of the relative strength of different FinRL methods in terms of six axes. A mark on the star plot’s inner circle suggests the market average 3 3 3 Market average indicat

实验结果

研究问题

• RQ1 现有 FinRL 方法在盈利能力之外的维度（如风险控制、可靠性与可解释性）上的表现如何？
• RQ2 一个单一的 FinRL 智能体是否能在不牺牲在波动或市场制度变化下鲁棒性的前提下，实现 PRUDEX-Compass 六个维度的卓越表现？
• RQ3 AlphaMix+ 在风险调整后收益、适应性与可解释性方面，相较于现有 FinRL 基线方法的优越程度如何？
• RQ4 PRUDEX-Compass 在识别仅在回测中表现良好但在实际市场中存在过拟合与泛化能力差的 FinRL 模型方面，效果如何？
• RQ5 该框架能否推广至非强化学习方法，并支持金融领域更广泛的机器学习应用？

主要发现

• AlphaMix+ 在 PRUDEX-Compass 的全部六个维度上均显著优于其他七种 FinRL 方法，在盈利能力、风险控制与可解释性方面表现尤为突出。
• 评估结果表明，许多现有 FinRL 方法（如 SAC 和 Imit）尽管在回测中表现强劲，但在黑天鹅事件中仍存在严重的风险控制不足与灾难性回撤。
• PRUDEX-Compass 有效识别出以盈利为目标的智能体的过拟合与鲁棒性不足问题，证明其在真实部署前筛选不可靠方法的价值。
• 该框架能够检测市场制度转换下的性能退化，凸显了通用性与可靠性对实际应用的重要性。
• 开源发布数据集、代码与可视化工具已有效促进可复现性与基准测试，AlphaMix+ 已成为未来 FinRL 研究的新强基线。
• 消融研究证实，AlphaMix+ 的专家混合架构与风险感知 Bellman 更新组件在各项评估维度上的卓越表现中均不可或缺。

Figure 2 : Workflow of real-world trading firms.