[论文解读] SafeRL-Kit: Evaluating Efficient Reinforcement Learning Methods for Safe Autonomous Driving

Linrui Zhang, Qin Zhang+3 more|arXiv (Cornell University)|Jun 17, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文介绍了 SafeRL-Kit，这是一个用于安全自主驾驶的统一离策略强化学习工具包，集成了最先进的安全强化学习算法，包括一种新颖的一阶方法——精确惩罚优化（EPO）。EPO 在训练稳定性和样本效率方面表现出色，实现了鲁棒的零成本约束性能，优于 SpeedLimit 和 MetaDrive 等基准环境中的现有方法。

ABSTRACT

Safe reinforcement learning (RL) has achieved significant success on risk-sensitive tasks and shown promise in autonomous driving (AD) as well. Considering the distinctiveness of this community, efficient and reproducible baselines are still lacking for safe AD. In this paper, we release SafeRL-Kit to benchmark safe RL methods for AD-oriented tasks. Concretely, SafeRL-Kit contains several latest algorithms specific to zero-constraint-violation tasks, including Safety Layer, Recovery RL, off-policy Lagrangian method, and Feasible Actor-Critic. In addition to existing approaches, we propose a novel first-order method named Exact Penalty Optimization (EPO) and sufficiently demonstrate its capability in safe AD. All algorithms in SafeRL-Kit are implemented (i) under the off-policy setting, which improves sample efficiency and can better leverage past logs; (ii) with a unified learning framework, providing off-the-shelf interfaces for researchers to incorporate their domain-specific knowledge into fundamental safe RL methods. Conclusively, we conduct a comparative evaluation of the above algorithms in SafeRL-Kit and shed light on their efficacy for safe autonomous driving. The source code is available at \href{ https://github.com/zlr20/saferl_kit}{this https URL}.

研究动机与目标

• 为解决安全关键型自主驾驶任务中缺乏高效、可复现且最新的安全强化学习基线的问题。
• 提供一个统一的离策略框架，支持从历史数据和人类示范中进行样本高效的训练。
• 在真实的自主驾驶环境中对最新的安全强化学习算法（包括新颖方法）进行基准测试，以识别高性能方法。
• 提出并验证一种新型的一阶优化方法——精确惩罚优化（EPO），用于自主驾驶中的安全强化学习。
• 提供可扩展、模块化的接口，使研究人员能够将领域特定知识集成到核心安全强化学习算法中。

提出的方法

• SafeRL-Kit 在离策略设置下实现了多种最先进的安全强化学习算法，以提升样本效率并复用过往经验。
• 该工具包集成了五种现有方法：安全层、恢复强化学习、离策略拉格朗日法、可行演员-评论家（FAC）以及一种新方法——精确惩罚优化（EPO）。
• EPO 通过使用单个固定惩罚因子和 ReLU 操作符，将约束优化问题重新表述为等价的无约束问题，避免了依赖状态的拉格朗日乘子。
• 所有算法均基于统一的训练框架构建，配备即插即用的接口，支持模块化扩展和领域知识的集成。
• 该框架支持向量观测输入（如本体状态、激光雷达数据），并设计为与现代深度学习库兼容。
• 该工具包随代码一同发布，支持离线数据，包括记录的轨迹和人类示范，从而提升自主驾驶场景中的数据效率。

实验结果

研究问题

• RQ1 在自主驾驶基准测试中，现代离策略安全强化学习算法在安全性、样本效率和收敛稳定性方面表现如何？
• RQ2 像 EPO 这类一阶基于惩罚的方法能否在避免超参数敏感性的同时，实现与原始-对偶拉格朗日方法相当或更优的性能？
• RQ3 超参数选择（尤其是学习率和惩罚因子）对安全强化学习算法训练稳定性和性能有何影响？
• RQ4 离策略安全强化学习方法在多大程度上能够利用离线数据和人类示范？
• RQ5 SafeRL-Kit 中的统一框架在支持可扩展性和领域特定安全约束集成方面表现如何？

主要发现

• 在 SpeedLimit 环境中，EPO 实现了接近零成本回报，并快速收敛，在安全性和学习速度方面均优于其他方法。
• 基于拉格朗日的方法（如离策略拉格朗日法和可行演员-评论家）的累积成本显著低于安全层和恢复强化学习方法，表明其对约束的遵守更优。
• 基于拉格朗日的方法对拉格朗日乘子的学习率高度敏感，不当调优会导致振荡和性能下降。
• EPO 对惩罚因子的选择具有鲁棒性：当 κ > 5 时，性能保持稳定且一致，表明其比原始-对偶方法更易调优。
• 与在线策略基线相比，SafeRL-Kit 将样本复杂度降低了最多 10 倍，仅需 50 万至 100 万次交互即可收敛，而同类任务中在线策略方法通常需要 1000 万次交互。
• 统一框架支持无缝集成领域特定知识，且该工具包已具备生产就绪能力，适用于数据丰富的自主驾驶场景。