[论文解读] Reinforcement-Learning based Portfolio Management with Augmented Asset Movement Prediction States

Yunan Ye, Hengzhi Pei+5 more|arXiv (Cornell University)|Feb 9, 2020

Blockchain Technology Applications and Security参考文献 8被引用 4

一句话总结

该论文提出SARL，一种用于投资组合管理的增强状态强化学习框架，通过将预测的价格走势作为额外状态，整合异构数据（如资产价格和金融新闻）。该方法显著提升了投资组合表现与风险调整后收益，在比特币和高科技股数据集上，累计收益提高140.9–15.7%，夏普比率最高提升40.45%，优于当前最先进方法。

ABSTRACT

Portfolio management (PM) is a fundamental financial planning task that aims to achieve investment goals such as maximal profits or minimal risks. Its decision process involves continuous derivation of valuable information from various data sources and sequential decision optimization, which is a prospective research direction for reinforcement learning (RL). In this paper, we propose SARL, a novel State-Augmented RL framework for PM. Our framework aims to address two unique challenges in financial PM: (1) data heterogeneity -- the collected information for each asset is usually diverse, noisy and imbalanced (e.g., news articles); and (2) environment uncertainty -- the financial market is versatile and non-stationary. To incorporate heterogeneous data and enhance robustness against environment uncertainty, our SARL augments the asset information with their price movement prediction as additional states, where the prediction can be solely based on financial data (e.g., asset prices) or derived from alternative sources such as news. Experiments on two real-world datasets, (i) Bitcoin market and (ii) HighTech stock market with 7-year Reuters news articles, validate the effectiveness of SARL over existing PM approaches, both in terms of accumulated profits and risk-adjusted profits. Moreover, extensive simulations are conducted to demonstrate the importance of our proposed state augmentation, providing new insights and boosting performance significantly over standard RL-based PM method and other baselines.

研究动机与目标

• 解决金融投资组合管理中的数据异构性问题，其中资产信息多样、嘈杂且不平衡（例如结构化价格与非结构化新闻）。
• 缓解由于非平稳金融市场及训练与测试数据分布偏移带来的环境不确定性。
• 通过引入预测信号进行状态增强，提升基于强化学习的投资组合策略的泛化能力与鲁棒性。
• 证明：当预测信号具有信息量时，即使外部信息本身嘈杂或稀疏，仍可提升投资组合表现。
• 在累计收益与夏普比率等风险调整指标上，验证SARL相较于标准强化学习及现有投资组合管理基线方法的优越性。

提出的方法

• 提出一种通用的增强状态强化学习（SARL）框架，通过在原始强化学习状态空间中引入预测的资产价格走势作为额外状态，扩展状态空间。
• 利用多种数据源（如历史资产价格与新闻文章）生成价格走势预测，并将这些预测结果嵌入为增强状态。
• 利用预训练的自然语言模型（如基于BERT的嵌入）将金融新闻编码为向量表示，以整合进状态空间。
• 在增强状态空间上使用标准强化学习算法（如PPO、DPG、PG）训练强化学习智能体，学习最优投资组合配置策略。
• 通过模拟不同精度与标签稀疏度的预测，评估在不确定性下的鲁棒性与泛化能力。
• 在真实世界数据集上，将SARL与基线方法（如DPM（用于投资组合管理的深度Q网络）及传统投资组合管理策略（CRP、OLMAR、WMAMR））进行对比。

实验结果

研究问题

• RQ1 将异构数据源（如金融新闻）整合进强化学习状态空间，能否提升投资组合管理表现？
• RQ2 外部价格走势预测的准确率与稀疏度如何影响基于强化学习的投资组合智能体的性能？
• RQ3 在分布偏移与市场不确定性下，SARL是否比标准强化学习投资组合管理方法具有更好的泛化能力？
• RQ4 当嵌入为增强状态时，嘈杂或低频的外部信号在多大程度上仍能提升投资组合收益？
• RQ5 金融新闻中的隐含语义相关性在多大程度上提升了增强状态表示的预测能力？

主要发现

• 在比特币数据集上，SARL相较于最先进方法实现了140.9%的累计收益提升，展现出显著的性能优势。
• 在高科技股数据集上，SARL在累计收益上比所有基线方法高出15.7%，且夏普比率高出40.45%。
• 即使在60%准确率但随机模拟的预测标签下，SARL仍优于DPM，表明其对噪声外部信号具有强鲁棒性。
• 预测信号中标签密度越高（如80–100%），投资组合表现越好，当标签密度为50%、准确率为70%时，SARL的组合价值相比DPM提升了90.3%。
• SARL显著优于基于随机模拟标签训练的模型，表明真实金融新闻中包含可被利用的隐藏相关性，而随机信号中并不存在此类信息。
• SARL的夏普比率在所有时间段内均显著高于DPM，表明SARL在未显式引入风险正则化损失函数的情况下，仍能学习到风险规避策略。