[论文解读] Policy Gradients Beyond Expectations: Conditional Value-at-Risk.

Aviv Tamar, Yonatan Glassner+1 more|arXiv (Cornell University)|Apr 15, 2014

Risk and Portfolio Optimization参考文献 26被引用 20

一句话总结

本文通过将梯度公式表示为条件期望，提出了一种用于条件风险价值（CVaR）优化的新型策略梯度方法，从而实现基于采样的估计与梯度下降，推动了风险敏感强化学习的发展。该方法在Tetris控制器学习任务中得到验证，并结合重要性采样程序以提升样本效率。

ABSTRACT

Conditional Value at Risk (CVaR) is a prominent risk measure that is being used extensively in various domains such as finance. In this work we present a new formula for the gradient of the CVaR in the form of a conditional expectation. Our result is similar to policy gradients in the reinforcement learning literature. Based on this formula, we propose novel sampling-based estimators for the CVaR gradient, and a corresponding gradient descent procedure for CVaR optimization. We evaluate our approach in learning a risk-sensitive controller for the game of Tetris, and propose an importance sampling procedure that is suitable for such domains.

研究动机与目标

• 为不确定环境下的序列决策问题中的CVaR提供一种原理严谨的梯度估计方法。
• 利用CVaR作为尾部分布风险的度量，将策略梯度强化学习扩展至风险敏感目标。
• 通过基于采样的估计器与梯度下降过程，实现CVaR的实用化优化。
• 通过专为CVaR目标设计的重要性采样程序，提升风险敏感控制中的样本效率。

提出的方法

• 推导出CVaR梯度的新型解析公式，表示为条件期望，与标准策略梯度方法类似。
• 提出基于采样的估计器，利用推导出的梯度公式在实际中近似真实梯度。
• 设计一种梯度下降算法，用于在强化学习环境中优化CVaR目标。
• 引入一种重要性采样程序，以提升在仿真环境中估计CVaR梯度时的样本效率。
• 将该方法应用于Tetris环境中训练风险敏感控制器，展示了对高方差结果的鲁棒性。
• 利用条件期望结构，实现风险规避策略的稳定且可扩展的优化。

实验结果

研究问题

• RQ1 CVaR目标的梯度如何表达为适合策略梯度强化学习的形式？
• RQ2 从新梯度公式中可推导出哪些基于采样的估计器，以实现实际优化？
• RQ3 如何调整重要性采样以提升基于CVaR的强化学习中的样本效率？
• RQ4 所提出的方法能否在如Tetris这类结果方差较高的环境中有效学习风险敏感策略？
• RQ5 与标准策略梯度方法相比，该方法在风险缓解方面实现了哪些性能提升？

主要发现

• 本文成功推导出CVaR的闭式梯度表达式，表示为条件期望，从而支持基于梯度的优化。
• 所提出的基于采样的估计器在实践中提供了一种稳定且有效的方法来近似CVaR梯度。
• 基于新公式的梯度下降过程能够实现强化学习中风险规避策略的优化。
• 重要性采样程序显著提升了在估计CVaR梯度时的样本效率，尤其在高方差环境中表现突出。
• 该方法在训练Tetris控制器时实现了更好的风险敏感性，展现出对罕见但代价高昂的失败结果的鲁棒性。
• 实验结果表明，该方法在CVaR性能指标上有效降低了尾部分布风险，相较于标准策略梯度方法具有明显优势。