[论文解读] Saute RL: Almost Surely Safe Reinforcement Learning Using State Augmentation

Aivar Sootla, Alexander I. Cowen-Rivers+5 more|arXiv (Cornell University)|Feb 14, 2022

Autonomous Vehicle Technology and Safety被引用 9

一句话总结

本文提出 Sauté RL，通过将安全约束作为安全预算引入状态空间，实现几乎必然安全的强化学习，从而以概率1强制执行约束。通过在预算耗尽时赋予无限惩罚来重塑奖励函数，该方法在保持与任何现成强化学习算法兼容的同时确保安全，且在摆动倒立摆和汽车导航等安全关键环境中的表现优于当前最先进方法。

ABSTRACT

Satisfying safety constraints almost surely (or with probability one) can be critical for the deployment of Reinforcement Learning (RL) in real-life applications. For example, plane landing and take-off should ideally occur with probability one. We address the problem by introducing Safety Augmented (Saute) Markov Decision Processes (MDPs), where the safety constraints are eliminated by augmenting them into the state-space and reshaping the objective. We show that Saute MDP satisfies the Bellman equation and moves us closer to solving Safe RL with constraints satisfied almost surely. We argue that Saute MDP allows viewing the Safe RL problem from a different perspective enabling new features. For instance, our approach has a plug-and-play nature, i.e., any RL algorithm can be "Sauteed". Additionally, state augmentation allows for policy generalization across safety constraints. We finally show that Saute RL algorithms can outperform their state-of-the-art counterparts when constraint satisfaction is of high importance.

研究动机与目标

• 为解决在现实强化学习应用（如飞机操作或自动驾驶）中确保安全约束以概率1被满足的挑战。
• 克服现有安全强化学习方法仅保证约束在期望值或高概率下满足，而非几乎必然满足的局限性。
• 开发一种通用、即插即用的框架，可与任何标准强化学习算法集成，且无需修改学习目标。
• 通过状态增强实现不同安全预算下的策略泛化，使单一策略可处理多种安全阈值。

提出的方法

• 通过将剩余安全预算作为额外状态变量嵌入，引入安全增强（Sauté）MDP，将约束满足转化为与状态相关的奖励塑造。
• 重塑奖励函数，当安全预算耗尽时赋予无限负回报，确保任何违反预算的轨迹均受到严格惩罚。
• 构建一个新的MDP，其贝尔曼方程成立，从而可使用标准的基于评论家的强化学习算法（如PPO、TRPO、SAC）。
• 将该方法实现为OpenAI Gym环境的包装器，实现对任何现有强化学习算法的无缝“sautéing”（增强）。
• 利用状态增强实现泛化：在单一安全预算上训练的策略可泛化至其他预算，且通过随机初始化安全预算，可实现跨多个预算的联合训练。
• 通过实证评估证明其与基于模型的（如MBPO、PETS）和无模型（如PPO、SAC）强化学习算法的兼容性。

实验结果

研究问题

• RQ1 能否使用一种通用、模块化的强化学习框架，以概率1强制执行安全约束？
• RQ2 安全预算的状态增强如何影响标准强化学习算法的性能与稳定性？
• RQ3 在单一安全预算上训练的单一策略能否泛化至多个不同的安全预算？
• RQ4 Sauté RL方法在约束满足度和任务性能方面是否优于拉格朗日方法及其他最先进安全强化学习方法？
• RQ5 该方法是否可应用于无模型和基于模型的强化学习算法，且无需架构修改？

主要发现

• 在双摆系统环境中，Sauté TRPO在100条轨迹中实现了100%的约束满足率，最大安全成本始终低于40的预算值。
• 在摆动倒立摆任务中，Sauté SAC使用[64,64]网络结构，平均安全成本低于39.7，优于拉格朗日SAC，且确保了几乎必然安全。
• 在Reacher环境中，Sauté TRPO的平均安全成本为4.51，第90百分位数为8.78，显著低于CPO（9.95）和TRPO-Lagrangian（6.44），表明其安全性表现更优。
• 在Point Goal和Car Goal任务中，Sauté RL实现了接近零的最大安全成本（90%情况下为0.00），而基线方法如PID-Lagrangian和CVaR-TRPO的最大值分别达到59.78和58.04。
• 该方法展示了泛化能力：在单一安全预算上训练的策略可成功应对其他预算，且通过随机初始化安全预算，实现了跨多个阈值的联合训练。
• Sauté RL在安全关键基准测试中优于最先进方法，尤其在优先保障约束满足度而非平均性能时表现更优。