[论文解读] Safe Reinforcement Learning Using Advantage-Based Intervention

Nolan Wagener, Boots, Byron+1 more|arXiv (Cornell University)|Jun 16, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

SAILR 是一种安全强化学习算法，通过基于优势的干预机制，确保在未知马尔可夫决策过程中的训练期间安全性。通过利用现成的强化学习算法并转换数据以惩罚干预行为，SAILR 在训练和部署阶段均实现了强大的安全保证，与以往方法相比显著减少了约束违反情况。

ABSTRACT

Many sequential decision problems involve finding a policy that maximizes total reward while obeying safety constraints. Although much recent research has focused on the development of safe reinforcement learning (RL) algorithms that produce a safe policy after training, ensuring safety during training as well remains an open problem. A fundamental challenge is performing exploration while still satisfying constraints in an unknown Markov decision process (MDP). In this work, we address this problem for the chance-constrained setting. We propose a new algorithm, SAILR, that uses an intervention mechanism based on advantage functions to keep the agent safe throughout training and optimizes the agent's policy using off-the-shelf RL algorithms designed for unconstrained MDPs. Our method comes with strong guarantees on safety during both training and deployment (i.e., after training and without the intervention mechanism) and policy performance compared to the optimal safety-constrained policy. In our experiments, we show that SAILR violates constraints far less during training than standard safe RL and constrained MDP approaches and converges to a well-performing policy that can be deployed safely without intervention. Our code is available at https://github.com/nolanwagener/safe_rl.

研究动机与目标

• 为解决在未知 MDP 中探索期间确保安全的挑战，其中标准安全强化学习方法缺乏训练阶段的安全保证。
• 开发一种在训练过程中保持安全的同时实现高策略性能的方法，且不依赖复杂的约束优化或控制理论假设。
• 在训练和部署期间提供安全性的理论保证，即使使用标准的无约束强化学习算法亦成立。
• 与现有的 CMDP 基础和基于干预的方法相比，显著减少训练期间的安全违规次数。
• 通过利用优势函数指导干预决策，实现稳定可靠的训练，使该方法具有通用性和可扩展性。

提出的方法

• SAILR 使用基于优势的干预规则，当智能体的动作在预期回报方面优势较低（即相对于安全策略而言不安全）时，触发备份策略。
• 在轨迹采样过程中，每当智能体提出高风险动作，备份策略将介入并引导智能体进入安全状态，模拟向吸收状态的转移并施加负奖励。
• 通过使用代理 MDP $ ilde{ ho}$，将收集的轨迹转换为无约束 MDP 的经验数据，对任何触发干预的状态-动作对施加惩罚。
• 转换后的数据随后用于通过任意标准现成的强化学习算法（如 SAC 或 PPO）训练智能体的策略。
• 该方法依赖于温和的假设：不安全状态为吸收状态，且备份策略以高概率从初始状态确保安全。
• 干预机制是部分且通用的，仅依赖于估计的优势函数，避免了对平滑性或遍历性的假设。

实验结果

研究问题

• RQ1 我们能否设计一种安全强化学习算法，确保在训练和部署期间均具备安全性，而无需依赖复杂的约束优化？
• RQ2 如何利用优势函数指导安全干预，以在保持策略性能和稳定性的同时实现安全干预？
• RQ3 干预惩罚幅度对训练期间的安全性和最终策略性能有何影响？
• RQ4 干预机制中的模型偏差如何影响安全性和学习稳定性？
• RQ5 我们能否在使用标准无约束强化学习算法进行策略优化的同时，实现强大的安全保证？

主要发现

• 与标准安全强化学习和约束 MDP 方法相比，SAILR 在训练期间将安全违规次数减少了数量级。
• 即使在使用有偏模型进行干预的情况下，该方法仍能实现高部署性能并保持极少的约束违规。
• 对干预成本函数进行设计显著减少了安全违规并稳定了策略优化，尤其在模型有偏时效果更明显。
• 更大的干预惩罚可加速安全行为的学习并提升部署安全性，与理论边界一致。
• 基于模型预测控制（MPC）的干预规则是部分性的——仅需非零惩罚即可生效，而启发式干预则需要更大的惩罚才能达到类似安全性，表明基于优势的方法具有更高的鲁棒性。
• SAILR 的理论保证在温和假设下成立：不安全状态为吸收状态，且从初始状态出发备份策略可高概率确保安全。