[论文解读] Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach

Yinlam Chow, Aviv Tamar+2 more|arXiv (Cornell University)|Jun 6, 2015

Risk and Portfolio Optimization参考文献 25被引用 101

一句话总结

本文提出了一种新颖的CVaR优化框架，用于马尔可夫决策过程（MDPs），通过将CVaR解释为在受限误差预算内的最坏情况模型扰动下最小化期望成本，统一了风险敏感与鲁棒决策。该框架引入了一种具有可证明收敛性和有限时间误差界的确 approximation 值迭代算法，使得具有数千个状态的非平凡MDP能够实现全局最优策略计算。

ABSTRACT

In this paper we address the problem of decision making within a Markov decision process (MDP) framework where risk and modeling errors are taken into account. Our approach is to minimize a risk-sensitive conditional-value-at-risk (CVaR) objective, as opposed to a standard risk-neutral expectation. We refer to such problem as CVaR MDP. Our first contribution is to show that a CVaR objective, besides capturing risk sensitivity, has an alternative interpretation as expected cost under worst-case modeling errors, for a given error budget. This result, which is of independent interest, motivates CVaR MDPs as a unifying framework for risk-sensitive and robust decision making. Our second contribution is to present an approximate value-iteration algorithm for CVaR MDPs and analyze its convergence rate. To our knowledge, this is the first solution algorithm for CVaR MDPs that enjoys error guarantees. Finally, we present results from numerical experiments that corroborate our theoretical findings and show the practicality of our approach.

研究动机与目标

• 通过证明CVaR最小化等价于在受限误差预算内最坏情况下的期望成本，统一MDP中的风险敏感与鲁棒决策。
• 开发一种计算上可行的算法，用于求解CVaR MDP，并提供有限时间误差保证。
• 通过基于插值的近似值迭代方法，克服先前CVaR MDP方法在连续增强状态空间中面临的挑战。
• 在大规模网格世界规划问题上，展示该方法的实用性和可扩展性。
• 将框架扩展至均值-CVaR目标，并提供具有收敛保证的贝尔曼递推公式。

提出的方法

• 通过引入一个表示风险度量置信水平的连续辅助变量，对CVaR MDP进行状态增强建模。
• 基于捕捉在受限误差预算内转移概率最坏情况扰动的风险包络，推导出CVaR MDP的贝尔曼方程。
• 提出一种近似值迭代算法，结合对增强状态空间的线性插值，以处理连续变量。
• 建立类似压缩映射的收敛性分析，给出显式误差界，证明算法在有限时间内收敛至全局最优策略。
• 通过引入二维风险包络与复合风险算子，将框架扩展至均值-CVaR目标。
• 使用线性算子 Sλ 联合多个CVaR置信水平，实现对均值与尾部风险的联合优化。

实验结果

研究问题

• RQ1 MDP中的CVaR最小化能否被解释为在最坏情况模型扰动下的鲁棒优化？
• RQ2 尽管存在连续状态增强，能否设计一种具有可证明有限时间误差界的CVaR MDP值迭代算法？
• RQ3 所提出的基于插值的算法在计算复杂度与收敛速度方面相较于先前方法有何表现？
• RQ4 该框架能否扩展至多目标风险度量（如均值-CVaR），并提供显式收敛保证？
• RQ5 该算法在具有数千个状态的大规模规划问题上的实际性能如何？

主要发现

• 在转移概率扰动被限定于给定误差预算的前提下，MDP中折扣成本的CVaR在数学上等价于最坏情况扰动下的期望成本。
• 所提出的近似值迭代算法以有限时间误差界 $ \frac{\gamma^n}{1-\gamma}(C_{\text{max}} + \|Z\|_\infty) $ 收敛至全局最优策略，其中 $ \gamma $ 为折扣因子，$ Z $ 为初始成本随机变量。
• 该算法实现了显式误差保证的收敛，而先前方法仅能渐近收敛或需求解非凸规划问题。
• 在包含数千个状态的网格世界上的数值实验验证了算法的实用性和可扩展性，证明其能够计算出全局最优策略。
• 通过引入新的贝尔曼递推公式与复合风险包络，均值-CVaR目标的扩展得到支持，且证明了固定点解的唯一性与最优性。
• 该算法可同时为所有CVaR置信水平与初始状态计算最优策略，显著优于逐置信水平计算的效率。