[论文解读] Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy

Han Zhong, Deng, Xun+4 more|arXiv (Cornell University)|Dec 28, 2020

Reinforcement Learning in Robotics参考文献 61被引用 5

一句话总结

该论文提出VARAC，一种在平均奖励设定下用于风险敏感深度强化学习的方差约束演员-评论家算法。通过利用拉格朗日对偶与Fenchel对偶，该方法将约束优化问题转化为鞍点问题，当使用过参数化的神经网络时，可实现全局收敛至最优策略，收敛速率保证为子线性速率O(1/√K)。

ABSTRACT

While deep reinforcement learning has achieved tremendous successes in various applications, most existing works only focus on maximizing the expected value of total return and thus ignore its inherent stochasticity. Such stochasticity is also known as the aleatoric uncertainty and is closely related to the notion of risk. In this work, we make the first attempt to study risk-sensitive deep reinforcement learning under the average reward setting with the variance risk criteria. In particular, we focus on a variance-constrained policy optimization problem where the goal is to find a policy that maximizes the expected value of the long-run average reward, subject to a constraint that the long-run variance of the average reward is upper bounded by a threshold. Utilizing Lagrangian and Fenchel dualities, we transform the original problem into an unconstrained saddle-point policy optimization problem, and propose an actor-critic algorithm that iteratively and efficiently updates the policy, the Lagrange multiplier, and the Fenchel dual variable. When both the value and policy functions are represented by multi-layer overparameterized neural networks, we prove that our actor-critic algorithm generates a sequence of policies that finds a globally optimal policy at a sublinear rate. Further, We provide numerical studies of the proposed method using two real datasets to back up the theoretical results.

研究动机与目标

• 解决风险敏感深度强化学习中理论保证不足的问题，特别是在方差约束目标下的情形。
• 构建一个方差约束的策略优化问题，旨在最大化长期平均奖励的期望，同时对回报的方差进行约束。
• 设计一种理论基础坚实的算法，在非凸性和过参数化条件下，可证明找到全局最优策略。
• 将深度强化学习的应用范围扩展至风险敏感领域，如投资组合管理与机器人控制，其中结果稳定性至关重要。
• 提出一个统一框架，结合拉格朗日松弛与Fenchel对偶，以处理深度策略学习中的方差约束。

提出的方法

• 利用拉格朗日对偶性将方差约束优化问题转化为无约束的鞍点问题。
• 引入Fenchel对偶性，进一步将问题重述为对偶空间中的形式，从而实现对策略与对偶变量的高效更新。
• 设计VARAC算法，通过演员-评论家更新机制，迭代更新策略、拉格朗日乘子与Fenchel对偶变量。
• 使用神经网络近似对偶Q值函数，并以TD3作为基础算法，求解经变换后的MDP，其奖励函数经过相应修改。
• 采用带KL散度正则化的策略更新方式，以确保训练过程中策略改进的稳定性。
• 对对偶变量（λ与y）采用时间平均更新策略，以提升收敛稳定性。

实验结果

研究问题

• RQ1 在长期平均奖励的方差约束下，深度强化学习算法能否可证明地找到全局最优策略？
• RQ2 如何有效结合拉格朗日对偶与Fenchel对偶，以处理具有非凸目标的方差约束深度强化学习问题？
• RQ3 在过参数化神经网络函数近似下，所提算法收敛至全局最优策略的速率如何？
• RQ4 与风险中性基线相比，该算法在实际性能中于期望回报与方差控制两方面的表现如何？
• RQ5 所提方法能否应用于实际的风险敏感控制任务，如投资组合管理与机器人控制？

主要发现

• VARAC算法以O(1/√K)的速率收敛至鞍点，且解以相同速率收敛至全局最优策略。
• 在Pendulum-v0与BipedalWalkerHardcore-v3上的实验结果表明，与TD3相比，VARAC分别将性能方差降低了30%与34%，同时保持了相近的平均回报。
• 在Pendulum-v0环境中，VARAC的方差为4,826，而TD3为6,903；在BipedalWalkerHardcore-v3中，方差从9,348降至6,090。
• 尽管收敛速度较慢，VARAC在10组不同随机种子下始终表现出更低的方差，证明其在风险敏感场景中的有效性。
• 该算法成功平衡了期望回报与方差，适用于机器人与金融等安全关键型应用场景。
• 通过真实世界控制环境中的数值实验，验证了理论框架的正确性，证实了该方法的鲁棒性与实际应用价值。