[论文解读] Risk-Constrained Reinforcement Learning with Percentile Risk Criteria

Yinlam Chow, Mohammad Ghavamzadeh+2 more|arXiv (Cornell University)|Dec 5, 2015

Reinforcement Learning in Robotics参考文献 40被引用 54

一句话总结

本文提出了一种基于分位数风险准则（特别是机会约束和条件风险价值CVaR）的策略梯度与演员-critic算法，用于风险约束强化学习。该研究推导了拉格朗日函数的梯度估计器，实现了策略与乘子的联合更新，并在风险约束马尔可夫决策过程（MDP）中证明了算法收敛至局部最优策略。

ABSTRACT

In many sequential decision-making problems one is interested in minimizing an expected cumulative cost while taking into account \emph{risk}, i.e., increased awareness of events of small probability and high consequences. Accordingly, the objective of this paper is to present efficient reinforcement learning algorithms for risk-constrained Markov decision processes (MDPs), where risk is represented via a chance constraint or a constraint on the conditional value-at-risk (CVaR) of the cumulative cost. We collectively refer to such problems as percentile risk-constrained MDPs. Specifically, we first derive a formula for computing the gradient of the Lagrangian function for percentile risk-constrained MDPs. Then, we devise policy gradient and actor-critic algorithms that (1) estimate such gradient, (2) update the policy in the descent direction, and (3) update the Lagrange multiplier in the ascent direction. For these algorithms we prove convergence to locally optimal policies. Finally, we demonstrate the effectiveness of our algorithms in an optimal stopping problem and an online marketing application.

研究动机与目标

• 填补强化学习在风险约束马尔可夫决策过程（MDP）中的研究空白，其中风险通过机会约束或CVaR定义。
• 开发高效、可扩展的强化学习算法，以处理分位数风险准则，同时保持计算可行性。
• 通过基于梯度的方法实现在风险约束设置下策略与拉格朗日乘子的联合优化。
• 在标准随机逼近假设下，为所提算法提供理论收敛保证。
• 在涉及罕见但高影响事件的实际序列决策问题中展示方法的有效性。

提出的方法

• 使用机会约束与CVaR作为风险度量，构建风险约束MDP，将风险意识嵌入目标函数。
• 推导分位数风险约束MDP的拉格朗日函数梯度，支持基于梯度的策略优化。
• 设计一种策略梯度算法，通过估计拉格朗日函数的梯度，并沿负梯度方向更新策略。
• 开发一种演员-critic算法，结合值函数近似与策略梯度更新，以提升样本效率。
• 实施三时间尺度随机逼近方案：快速更新策略（θ），中速更新值函数（v），最慢更新拉格朗日乘子（λ）。
• 使用γ-占用测度生成无偏梯度估计，并通过鞅差分误差项确保收敛性。

实验结果

研究问题

• RQ1 如何利用强化学习高效地制定并求解具有分位数风险准则的风险约束MDP？
• RQ2 涉及CVaR与机会约束的风险约束MDP的拉格朗日函数的正确梯度是什么？
• RQ3 策略梯度与演员-critic算法能否被调整以在风险约束设置下联合优化策略与拉格朗日乘子？
• RQ4 在随机逼近框架下，此类算法的收敛性保证是什么？
• RQ5 在涉及罕见但高成本事件的实际应用中，所提算法表现如何？

主要发现

• 在标准随机逼近条件下，所提策略梯度与演员-critic算法几乎必然收敛至局部最优策略。
• 推导了分位数风险约束MDP的拉格朗日函数梯度，并用于实现策略与乘子的联合更新。
• 三时间尺度更新方案确保策略、值函数与拉格朗日乘子的更新独立收敛，其中乘子在最慢的时间尺度上更新。
• 实证结果表明，算法在最优停止问题与在线营销应用中优于风险中性基线方法，尤其在降低尾部风险方面表现突出。
• 该方法能有效实施CVaR与机会约束，确保即使低概率发生的高成本事件也被最小化。
• 理论分析表明，更新中的误差项为鞅差分且偏差趋于零，支持收敛至局部鞍点。