[论文解读] Profitable Strategy Design by Using Deep Reinforcement Learning for Trades on Cryptocurrency Markets

Mohsen Asgari, Seyed Hossein Khasteh|arXiv (Cornell University)|Jan 15, 2022

Financial Markets and Investment Strategies被引用 4

一句话总结

本文提出了一种使用PPO、SAC和GAIL的深度强化学习框架，用于设计盈利的加密货币交易策略。模型在自定义Gym环境中基于价格和各类技术指标数据进行训练，于未见过的66天测试期内实现了48.5%的回报率（10,000美元初始资金实现4,850美元利润），环境设计中包含可配置的风险调整超参数。

ABSTRACT

Deep Reinforcement Learning solutions have been applied to different control problems with outperforming and promising results. In this research work we have applied Proximal Policy Optimization, Soft Actor-Critic and Generative Adversarial Imitation Learning to strategy design problem of three cryptocurrency markets. Our input data includes price data and technical indicators. We have implemented a Gym environment based on cryptocurrency markets to be used with the algorithms. Our test results on unseen data shows a great potential for this approach in helping investors with an expert system to exploit the market and gain profit. Our highest gain for an unseen 66 day span is 4850 US dollars per 10000 US dollars investment. We also discuss on how a specific hyperparameter in the environment design can be used to adjust risk in the generated strategies.

研究动机与目标

• 开发一种基于深度强化学习的加密货币市场专家交易系统。
• 评估多种深度强化学习算法——PPO、SAC和GAIL——在真实加密货币价格数据上的性能表现。
• 设计一个基于Gym的强化学习环境，专用于加密货币交易，并支持可配置的风险参数。
• 证明在未见过的市场数据上生成盈利且可泛化的交易策略的可行性。

提出的方法

• 实现了一个自定义Gym环境，用于模拟加密货币交易，状态空间包含价格数据和技术指标。
• 应用近端策略优化（PPO）、软演员评论家（SAC）和生成对抗模仿学习（GAIL）来学习最优交易策略。
• 状态空间包含历史价格和诸如RSI与MACD等技术指标，以支持交易决策。
• 动作空间允许在每个时间步执行买入、卖出或持有操作，奖励基于投资组合回报计算。
• 在环境中引入一个风险调整超参数，用于在训练过程中调节智能体的风险暴露。
• 模型在历史数据上进行训练，并在独立的、未见过的66天测试期上进行评估，以检验其泛化能力和盈利能力。

实验结果

研究问题

• RQ1 仅使用价格和各类技术指标数据，深度强化学习智能体能否在加密货币市场中学习到盈利的交易策略？
• RQ2 在应用于加密货币交易策略生成时，PPO、SAC和GAIL在性能和稳定性方面如何比较？
• RQ3 在环境设计中引入可配置的超参数，是否能有效控制所生成交易策略的风险特征？
• RQ4 训练后的智能体在未见过的市场条件下，其泛化能力有多强，是否会出现过拟合？
• RQ5 在真实加密货币数据上，基于深度强化学习的策略在测试期内可实现多高的盈利水平？

主要发现

• 表现最佳的智能体在66天未见过的测试期内实现了48.5%的回报率，相当于10,000美元初始投资获得4,850美元利润。
• 所有三种算法——PPO、SAC和GAIL——均展现出在加密货币数据上学习盈利交易策略的能力。
• 在环境中引入可配置的风险超参数，使得所生成策略的风险暴露可系统性调节。
• 模型表现出强大的泛化性能，在训练期间未见过的数据上仍保持盈利。
• 结果表明，深度强化学习可作为构建加密货币市场专家交易系统的可行方法。