[论文解读] Policy Gradients for CVaR-Constrained MDPs

L. A. Prashanth|arXiv (Cornell University)|May 12, 2014

Risk and Portfolio Optimization参考文献 15被引用 4

一句话总结

本文提出两种策略梯度算法，用于基于条件风险价值（CVaR）作为风险度量的风险约束随机最短路径问题。通过结合随机逼近、小批量处理、重要性采样和似然比方法，算法在优化期望成本和CVaR约束方面实现了渐近收敛，并通过方差减少技术提升了罕见事件估计的性能。

ABSTRACT

We study a risk-constrained version of the stochastic shortest path (SSP) problem, where the risk measure considered is Conditional Value-at-Risk (CVaR). We propose two algorithms that obtain a locally risk-optimal policy by employing four tools: stochastic approximation, mini batches, policy gradients and importance sampling. Both the algorithms incorporate a CVaR estimation procedure, along the lines of Bardou et al. [2009], which in turn is based on Rockafellar-Uryasev's representation for CVaR and utilize the likelihood ratio principle for estimating the gradient of the sum of one cost function (objective of the SSP) and the gradient of the CVaR of the sum of another cost function (in the constraint of SSP). The algorithms differ in the manner in which they approximate the CVaR estimates/necessary gradients - the first algorithm uses stochastic approximation, while the second employ mini-batches in the spirit of Monte Carlo methods. We establish asymptotic convergence of both the algorithms. Further, since estimating CVaR is related to rare-event simulation, we incorporate an importance sampling based variance reduction scheme into our proposed algorithms.

研究动机与目标

• 解决以条件风险价值（CVaR）作为风险度量的随机最短路径（SSP）问题中的风险敏感强化学习问题。
• 开发能够同时最小化期望成本并满足基于CVaR的风险约束的优化算法。
• 提高CVaR估计的样本效率并降低方差，特别是在罕见事件场景下。
• 为在CVaR约束下策略梯度方法的理论收敛性提供保证。

提出的方法

• 采用似然比原理，估计期望成本和成本函数CVaR的梯度。
• 利用Rockafellar-Uryasev的CVaR表示方法，使CVaR估计在策略梯度框架内可微分。
• 提出一种基于重要性采样的方差减少方案，以提高CVaR估计的稳定性和准确性。
• 提出两种变体：一种使用随机逼近实现在线梯度更新，另一种使用小批量采样，受蒙特卡洛方法启发。
• 应用小批量采样以稳定梯度估计，并在高方差环境下提升收敛性。
• 将策略梯度更新与Bardou等人（2009）提出的CVaR估计方法相结合，实现一致的风险感知优化。

实验结果

研究问题

• RQ1 如何将策略梯度方法适配于在随机最短路径问题中同时优化期望成本和CVaR约束？
• RQ2 使用随机逼近与小批量采样对CVaR约束下策略学习的收敛性和稳定性有何影响？
• RQ3 在处理罕见事件成本结果时，如何降低CVaR估计的方差？
• RQ4 是否可以为在CVaR约束下的策略梯度算法建立渐近收敛的理论保证？

主要发现

• 所提出的算法在较弱正则性条件下实现渐近收敛，确保了可靠策略优化。
• 重要性采样显著降低了CVaR估计的方差，提升了样本效率。
• 无论是随机逼近还是小批量变体，均在风险约束MDP中表现出稳定的训练动态。
• 通过Rockafellar-Uryasev表示法集成CVaR估计，实现了可微分且可扩展的风险感知策略学习。
• 算法成功平衡了期望成本的最小化与基于CVaR的风险约束的遵守。