[论文解读] ReLOAD: Reinforcement Learning with Optimistic Ascent-Descent for Last-Iterate Convergence in Constrained MDPs

Ted Moskovitz, Brendan O’Donoghue+4 more|arXiv (Cornell University)|Feb 2, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

ReLOAD 提出了一种新颖的约束强化学习算法，采用乐观上升-下降优化方法，在标准梯度方法无法稳定策略的约束 MDP 中实现最终迭代收敛。该方法在表格形式和函数逼近设置下均保证收敛至最优策略，在具有挑战性的 CRL 基准测试中表现优于基线方法，展现出更高的稳定性和约束遵守能力。

ABSTRACT

In recent years, Reinforcement Learning (RL) has been applied to real-world problems with increasing success. Such applications often require to put constraints on the agent's behavior. Existing algorithms for constrained RL (CRL) rely on gradient descent-ascent, but this approach comes with a caveat. While these algorithms are guaranteed to converge on average, they do not guarantee last-iterate convergence, i.e., the current policy of the agent may never converge to the optimal solution. In practice, it is often observed that the policy alternates between satisfying the constraints and maximizing the reward, rarely accomplishing both objectives simultaneously. Here, we address this problem by introducing Reinforcement Learning with Optimistic Ascent-Descent (ReLOAD), a principled CRL method with guaranteed last-iterate convergence. We demonstrate its empirical effectiveness on a wide variety of CRL problems including discrete MDPs and continuous control. In the process we establish a benchmark of challenging CRL problems.

研究动机与目标

• 解决现有约束强化学习算法依赖梯度下降-上升方法时缺乏最终迭代收敛的问题。
• 开发一种理论基础扎实的方法，确保当前策略收敛至最优解，而不仅仅是训练过程中的平均策略。
• 在一系列具有挑战性的 CRL 环境中对方法进行实证验证，涵盖离散与连续控制任务。
• 为未来算法评估建立一组具有挑战性的 CRL 问题基准。
• 证明乐观镜像下降可被有效适配至约束强化学习，并具备可证明的收敛保证。

提出的方法

• ReLOAD 采用广义的乐观镜像下降框架，在约束 MDP 中平衡奖励最大化与约束满足。
• 引入一种改进的对偶变量更新规则，结合乐观性以稳定策略学习并避免振荡。
• 利用 Bregman 散度定义更新的几何结构，实现在非平稳、约束优化设置下的收敛。
• ReLOAD 可与离策略深度强化学习算法（如 IMPALA 和 DMPO）集成，保持与函数逼近的兼容性。
• 采用双时间尺度更新机制：使用乐观对偶变量进行策略更新，对偶变量更新则采用改进的步长调度。
• 该算法在温和假设下被理论证明可实现最终迭代收敛，将先前在 GAN 中的结果拓展至 CRL 领域。

Figure 1: Standard gradient-based methods suffer from oscillations in constrained RL. (a) Training and agent to walk while keeping its height below different thresholds, learning looks stable when averaged across seeds. (b) Examining a single training run, we can see that learning oscillates dramati

实验结果

研究问题

• RQ1 在标准梯度下降-上升方法失效的约束 MDP 中，乐观上升-下降方法能否实现最终迭代收敛？
• RQ2 在多样化环境中，ReLOAD 在策略稳定性与约束满足方面相较于现有 CRL 基线方法表现如何？
• RQ3 哪些是最具挑战性的 CRL 基准，能够暴露当前算法的局限性？
• RQ4 乐观对偶更新机制是否能有效减少训练过程中策略行为的振荡？
• RQ5 ReLOAD 是否可成功应用于表格形式和具有函数逼近的深度强化学习设置？

主要发现

• ReLOAD 在表格形式和深度强化学习设置下均实现了最终迭代收敛，而标准 CRL 方法仅在平均策略行为上收敛。
• 在带有高度约束的 Walker 环境中，ReLOAD-IMPALA 获得 549.0±2.0 的加权奖励，显著优于 OGD-IMPALA（487.5±2.8）和 μ*-IMPALA（356.7±32.8）。
• 在带有速度约束的 Reacher 环境中，ReLOAD-IMPALA 获得 938.1±2.9 的加权奖励，超越所有基线方法，包括 μ*-IMPALA（893.6±8.5）。
• 在带有扭矩约束的 Quadruped 环境中，ReLOAD-DMPO 获得 768.4±51.7 的任务奖励，优于 μ*-DMPO（200.4±33.7）和 OGD-DMPO（664.6±20.7）。
• 在 Humanoid 任务中，ReLOAD-DMPO 保持了较低的约束违反次数（615.0±20.6），尽管奖励更高，但在约束遵守方面仍优于 μ*-DMPO（44.7±0.1）。
• 该方法在 RWRL 套件中的 12 个具有挑战性的约束设置下表现出一致性能，策略行为振荡极小。

Figure 2: Optimistic gradients achieve LIC. (a) GDA spirals outwards, while OGDA reaches the optimum. (b) The optimistic update ${\color[rgb]{0,0,0}\definecolor[named]{pgfstrokecolor}{rgb}{0,0,0}\widetilde{}\nabla\mathcal{L}^{k}}$ bends the trajectory inwards. (c) One optimistic player is not enough