[论文解读] Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret

Yingjie Fei, Zhuoran Yang+3 more|arXiv (Cornell University)|Jun 22, 2020

Reinforcement Learning in Robotics参考文献 58被引用 9

一句话总结

本文提出了风险敏感值迭代（RSVI）和风险敏感Q-learning（RSQ），两种基于模型的强化学习算法，通过指数效用函数引入风险敏感性，使风险偏好型和风险规避型智能体都能实现自适应探索。作者建立了近似最优的遗憾边界，其对风险参数 $\beta$ 和回合长度 $H$ 呈指数依赖，证明该权衡不可避免，并验证了所提算法的最优性。

ABSTRACT

We study risk-sensitive reinforcement learning in episodic Markov decision processes with unknown transition kernels, where the goal is to optimize the total reward under the risk measure of exponential utility. We propose two provably efficient model-free algorithms, Risk-Sensitive Value Iteration (RSVI) and Risk-Sensitive Q-learning (RSQ). These algorithms implement a form of risk-sensitive optimism in the face of uncertainty, which adapts to both risk-seeking and risk-averse modes of exploration. We prove that RSVI attains an $ ilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{3} S^{2}AT} \big)$ regret, while RSQ attains an $ ilde{O}\big(λ(|β| H^2) \cdot \sqrt{H^{4} SAT} \big)$ regret, where $λ(u) = (e^{3u}-1)/u$ for $u>0$. In the above, $β$ is the risk parameter of the exponential utility function, $S$ the number of states, $A$ the number of actions, $T$ the total number of timesteps, and $H$ the episode length. On the flip side, we establish a regret lower bound showing that the exponential dependence on $|β|$ and $H$ is unavoidable for any algorithm with an $ ilde{O}(\sqrt{T})$ regret (even when the risk objective is on the same scale as the original reward), thus certifying the near-optimality of the proposed algorithms. Our results demonstrate that incorporating risk awareness into reinforcement learning necessitates an exponential cost in $|β|$ and $H$, which quantifies the fundamental tradeoff between risk sensitivity (related to aleatoric uncertainty) and sample efficiency (related to epistemic uncertainty). To the best of our knowledge, this is the first regret analysis of risk-sensitive reinforcement learning with the exponential utility.

研究动机与目标

• 为未知转移核的回合制马尔可夫决策过程（episodic MDPs）设计可证明高效的模型无关风险敏感强化学习算法。
• 通过风险敏感的乐观性设计适应风险偏好型与风险规避型行为的探索策略。
• 建立紧致的遗憾边界，量化风险敏感性与样本效率之间的根本权衡。
• 证明遗憾边界中对 $|\beta|$ 和 $H$ 的指数依赖是不可避免的，从而验证所提算法的近似最优性。
• 提供首次基于指数效用函数的风险敏感强化学习的遗憾分析。

提出的方法

• 提出风险敏感值迭代（RSVI），一种批量算法，利用指数效用框架在值函数更新中引入风险敏感的乐观性。
• 提出风险敏感Q-learning（RSQ），一种在线算法，将风险敏感的乐观性原则扩展至Q值学习。
• 采用指数效用目标 $V = \frac{1}{\beta}\log\mathbb{E}[e^{\beta R}]$，该函数在 $\beta \to 0$ 时插值为风险中性，实现风险敏感行为的平滑过渡。
• 采用风险敏感的乐观机制，其中探索奖励取决于 $\beta$ 的符号和大小，从而适应风险偏好型（$\beta > 0$）或风险规避型（$\beta < 0$）偏好。
• 通过一种新颖的分析方法推导遗憾边界，该方法考虑了由指数效用函数引起的非线性贝尔曼方程。
• 建立遗憾的下界，证明任何具有 $\tilde{O}(\sqrt{T})$ 遗憾的算法都必须承受对 $|\beta|$ 和 $H$ 的指数代价，从而证实所提算法的近似最优性。

实验结果

研究问题

• RQ1 我们能否在未知MDP环境下，基于指数效用函数，设计出可证明高效的模型无关风险敏感强化学习算法？
• RQ2 风险敏感性如何影响强化学习算法的样本效率？
• RQ3 在回合制MDP中，风险敏感性与遗憾之间存在何种根本权衡？
• RQ4 遗憾边界中对 $|\beta|$ 和 $H$ 的指数依赖是否不可避免？
• RQ5 风险敏感的乐观性能否在风险偏好型与风险规避型场景中均有效实现？

主要发现

• RSVI 实现了 $\tilde{O}\big{(}\lambda(|\beta|H^{2})\cdot\sqrt{H^{3}S^{2}AT}\big{)}$ 的遗憾，其中 $\lambda(u) = (e^{3u} - 1)/u$。
• RSQ 达到了 $\tilde{O}\big{(}\lambda(|\beta|H^{2})\cdot\sqrt{H^{4}SAT}\big{)}$ 的遗憾，展示了其在在线学习中的高效性。
• 遗憾边界对 $|\beta|$ 和 $H$ 呈指数依赖，且通过匹配的下界证明该依赖关系不可避免。
• 下界证明，任何具有 $\tilde{O}(\sqrt{T})$ 遗憾的算法都必须承受对 $|\beta|$ 和 $H$ 的指数代价，从而验证了所提算法的近似最优性。
• 研究结果量化了风险敏感性（随机性不确定性）与样本效率（认知不确定性）之间的根本权衡。
• 本工作首次提供了基于指数效用函数的风险敏感强化学习的遗憾分析，填补了理论强化学习中的关键空白。