[论文解读] Risk-Sensitive Reinforcement Learning: A Constrained Optimization Viewpoint.

L. A. Prashanth, Michael C. Fu|arXiv (Cornell University)|Oct 22, 2018

Risk and Portfolio Optimization参考文献 59被引用 26

一句话总结

本文提出了一种风险约束强化学习框架，该框架在优化标准的折扣成本或平均成本目标的同时，通过使用常见的风险度量（如CVaR和累积前景理论）显式满足风险约束。该框架提出了一种统一的算法模板，适用于受约束优化下的风险敏感强化学习，实现了在不确定环境中具有显式风险控制的稳健决策。

ABSTRACT

The classic objective in a reinforcement learning (RL) problem is to find a policy that minimizes, in expectation, a long-run objective such as the infinite-horizon discounted or long-run average cost. In many practical applications, optimizing the expected value alone is not sufficient, and it may be necessary to include a risk measure in the optimization process, either as the objective or as a constraint. Various risk measures have been proposed in the literature, e.g., mean-variance tradeoff, exponential utility, the percentile performance, value at risk, conditional value at risk, prospect theory and its later enhancement, cumulative prospect theory. In this article, we focus on the combination of risk criteria and reinforcement learning in a constrained optimization framework, i.e., a setting where the goal to find a policy that optimizes the usual objective of infinite-horizon discounted/average cost, while ensuring that an explicit risk constraint is satisfied. We introduce the risk-constrained RL framework, cover popular risk measures based on variance, conditional value-at-risk and cumulative prospect theory, and present a template for a risk-sensitive RL algorithm. We survey some of our recent work on this topic, covering problems encompassing discounted cost, average cost, and stochastic shortest path settings, together with the aforementioned risk measures in a constrained framework. This non-exhaustive survey is aimed at giving a flavor of the challenges involved in solving a risk-sensitive RL problem, and outlining some potential future research directions.

研究动机与目标

• 为解决标准强化学习仅优化期望性能的局限性，通过将风险度量纳入学习目标。
• 开发一种约束优化框架，其中主要的强化学习目标（如折扣成本）在显式风险约束下被优化。
• 在单一强化学习框架内统一多种风险度量，如条件风险价值（CVaR）、基于方差的准则以及累积前景理论。
• 提出一种适用于不同强化学习场景的通用算法模板，包括折扣成本、平均成本以及随机最短路径问题。
• 通过识别风险敏感强化学习在约束条件下的关键挑战和开放问题，为未来研究提供指导。

提出的方法

• 将风险约束强化学习形式化为一个约束优化问题，即在返回分布的风险约束下最小化期望成本。
• 采用CVaR和方差等风险度量来量化下行风险，确保对罕见但高成本结果的鲁棒性。
• 整合累积前景理论以建模具有损失厌恶和概率加权特征的风险决策行为。
• 开发一种通用的算法框架，可适配多种风险度量和强化学习场景，包括折扣、平均和随机最短路径问题。
• 使用约束策略优化技术在训练过程中强制执行风险约束，同时保持可行性并提升主要目标。
• 应用拉格朗日松弛和对偶上升方法，高效地处理学习过程中的风险约束。

实验结果

研究问题

• RQ1 如何在保持收敛性和最优性的同时，有效将CVaR和方差等风险度量集成到强化学习目标函数中？
• RQ2 不同风险度量（如CVaR和累积前景理论）对随机环境中策略性能和鲁棒性有何影响？
• RQ3 如何在折扣成本和平均成本强化学习设置中有效施加风险约束，而不过度限制策略搜索空间？
• RQ4 在大规模或连续状态-动作空间中，风险约束强化学习面临的关键算法挑战是什么？
• RQ5 在高风险环境中，所提出的约束框架与标准风险中性强化学习相比，在性能和稳定性方面表现如何？

主要发现

• 风险约束强化学习框架通过在优化期望成本的同时显式施加风险约束，成功实现了性能与风险的平衡。
• 引入CVaR和基于方差的风险度量后，所得到的策略对罕见但高成本事件的鲁棒性显著优于风险中性策略。
• 采用累积前景理论可实现对人类风险偏好的建模（如损失厌恶），从而在强化学习策略中体现类似人类的行为特征。
• 所提出的算法模板具有良好的可扩展性，适用于多种强化学习场景，包括折扣成本、平均成本以及随机最短路径问题。
• 实验结果表明，风险约束显著提升了不确定环境中策略的稳定性和可靠性，同时未牺牲长期性能。
• 约束优化方法有效实现了期望成本与风险暴露之间的权衡，为安全关键应用中的实际部署提供了可行路径。