[论文解读] Policy Gradients with Variance Related Risk Criteria

Dotan Di Castro, Aviv Tamar+1 more|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 12被引用 116

一句话总结

本文提出了一种新型策略梯度框架，用于强化学习，通过推导状态-成本到未来（cost-to-go）方差的新型解析公式，优化与方差相关的风险准则（如夏普比率）。该方法可在风险敏感控制问题中收敛至局部最优解，已在投资组合规划应用中得到有效验证。

ABSTRACT

Managing risk in dynamic decision problems is of cardinal importance in many fields such as finance and process control. The most common approach to defining risk is through various variance related criteria such as the Sharpe Ratio or the standard deviation adjusted reward. It is known that optimizing many of the variance related risk criteria is NP-hard. In this paper we devise a framework for local policy gradient style algorithms for reinforcement learning for variance related criteria. Our starting point is a new formula for the variance of the cost-to-go in episodic tasks. Using this formula we develop policy gradient algorithms for criteria that involve both the expected cost and the variance of the cost. We prove the convergence of these algorithms to local minima and demonstrate their applicability in a portfolio planning problem.

研究动机与目标

• 解决在不确定性动态决策中风险敏感强化学习的挑战。
• 应对优化与方差相关的风险准则（如夏普比率）的计算不可行性。
• 开发一种针对同时涉及期望成本与方差的风险准则量身定制的局部策略梯度算法。
• 为所提出的算法建立理论收敛保证，确保收敛至局部极小值。
• 在包含风险感知目标的真实世界投资组合规划问题中，展示方法的实际适用性。

提出的方法

• 推导出在周期性马尔可夫决策过程中的成本到未来方差的新解析公式。
• 利用推导出的方差公式，构建同时考虑累积成本均值与方差的策略梯度更新。
• 设计一种基于随机逼近的策略梯度算法，以优化风险敏感准则。
• 使用路径导数方法将方差项的梯度整合到策略更新规则中。
• 在标准强化学习假设下，通过理论分析确保算法收敛至局部最优解。
• 将该方法应用于投资组合管理任务，以验证其在风险感知控制问题中的性能。

实验结果

研究问题

• RQ1 能否有效设计一种策略梯度方法，以优化强化学习中的与方差相关的风险准则？
• RQ2 在周期性任务中，成本到未来的方差如何被解析表达并求导？
• RQ3 当优化风险敏感目标时，策略梯度算法的收敛行为如何？
• RQ4 在风险感知环境中，所提出方法与标准策略梯度方法相比表现如何？
• RQ5 该框架能否成功应用于真实世界的风险敏感控制问题，如投资组合规划？

主要发现

• 本文推导出成本到未来方差的新闭式表达式，使基于梯度的风险敏感准则优化成为可能。
• 所提出的策略梯度算法在标准正则性条件下收敛至局部最小值。
• 该方法能有效处理同时包含期望成本与方差的目标，如夏普比率。
• 在投资组合规划问题上的实证结果表明，该算法实现了改进的风险调整后性能。
• 该框架为风险敏感强化学习提供了理论基础坚实的方法，克服了直接优化方差准则的NP难问题。
• 该算法在风险管理至关重要的领域（如金融）中展现出实际可行性。