[论文解读] Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking

Hanna Krasowski, Jakob Thumm+4 more|arXiv (Cornell University)|May 13, 2022

Safety Systems Engineering in Autonomy被引用 9

一句话总结

本文将可证明安全的强化学习（RL）方法统一归类为动作替换、动作投影和动作掩码三类，为连续和离散动作空间提供了形式化基础。在倒立摆和四旋翼稳定化任务上的实验表明，动作替换方法表现优于其他方法，尤其在安全验证触发时引入奖励惩罚后效果更显著。

ABSTRACT

Ensuring the safety of reinforcement learning (RL) algorithms is crucial to unlock their potential for many real-world tasks. However, vanilla RL and most safe RL approaches do not guarantee safety. In recent years, several methods have been proposed to provide hard safety guarantees for RL, which is essential for applications where unsafe actions could have disastrous consequences. Nevertheless, there is no comprehensive comparison of these provably safe RL methods. Therefore, we introduce a categorization of existing provably safe RL methods, present the conceptual foundations for both continuous and discrete action spaces, and empirically benchmark existing methods. We categorize the methods based on how they adapt the action: action replacement, action projection, and action masking. Our experiments on an inverted pendulum and a quadrotor stabilization task indicate that action replacement is the best-performing approach for these applications despite its comparatively simple realization. Furthermore, adding a reward penalty, every time the safety verification is engaged, improved training performance in our experiments. Finally, we provide practical guidance on selecting provably safe RL approaches depending on the safety specification, RL algorithm, and type of action space.

研究动机与目标

• 建立连续和离散动作空间中可证明安全RL的全面概念框架。
• 解决文献中可证明安全RL方法缺乏系统性比较与基准测试的问题。
• 基于安全规范、RL算法和动作空间类型，为选择安全RL方法提供实际指导。
• 在标准控制基准上，对三种动作修改策略——替换、投影和掩码——进行实证评估。
• 识别提升可证明安全RL在真实系统中适用性与效率的开放挑战与未来研究方向。

提出的方法

• 提出一种基于动作修改方式的新型三类可证明安全RL方法分类：动作替换、动作投影和动作掩码。
• 首次为连续动作空间提出动作掩码的形式化公式，通过约束优化实现安全动作选择。
• 使用安全验证函数（如控制障碍函数、HJI可达性）定义安全动作集，确保训练和部署过程中的硬性安全保证。
• 通过修改动作选择过程，将安全执行机制与标准RL算法（如SAC、PPO、DQN等）集成，同时保持学习动态。
• 在安全验证被触发时引入奖励惩罚机制，促使智能体更高效地学习更安全的策略。
• 在二维倒立摆和四旋翼稳定化任务上开展受控实验，比较三种动作修改策略在相同条件下的表现。

实验结果

研究问题

• RQ1 如何基于其动作修改策略对可证明安全RL方法进行系统性分类？
• RQ2 可证明安全RL在连续和离散动作空间中的概念基础与形式化保证是什么？
• RQ3 在标准基准上，动作替换、动作投影和动作掩码在学习性能与安全鲁棒性方面如何比较？
• RQ4 在安全验证触发时引入奖励惩罚，对训练收敛性和策略质量有何影响？
• RQ5 哪种安全规范、RL算法与动作修改策略的组合能在真实控制任务中实现最优性能？

主要发现

• 所有测试的可证明安全RL方法在两个基准任务的训练和部署过程中均成功强制执行了安全约束。
• 在倒立摆和四旋翼任务中，动作替换在学习速度和最终性能方面始终优于动作投影与掩码方法。
• 每当安全验证函数被触发时引入奖励惩罚，显著提升了训练性能与策略收敛性。
• 所提出的分类框架为现有及未来可证明安全RL方法的分类与比较提供了清晰且一致的体系。
• 动作掩码被成功扩展至连续动作空间，为高维控制中的形式化安全保证开辟了新路径。
• 本研究揭示，学习元组的选择（如奖励塑造、探索策略）对智能体性能有显著影响，尤其在安全RL设置中。