[论文解读] Safe Driving via Expert Guided Policy Optimization

Zhenghao Peng, Quanyi Li+2 more|arXiv (Cornell University)|Oct 13, 2021

Reinforcement Learning in Robotics参考文献 39被引用 4

一句话总结

本文提出专家引导策略优化（EGPO），一种新颖的闭环强化学习方法，通过引入一个守护者机制——包含专家策略与切换函数——实现安全探索并提供纠正示范。通过结合约束优化以限制干预频率，以及离线强化学习以稳定从离策略示范中学习的过程，EGPO 在安全驾驶任务中实现了更高的安全性、样本效率和泛化能力，其在训练和测试阶段的表现显著优于基线方法。

ABSTRACT

When learning common skills like driving, beginners usually have domain experts standing by to ensure the safety of the learning process. We formulate such learning scheme under the Expert-in-the-loop Reinforcement Learning where a guardian is introduced to safeguard the exploration of the learning agent. While allowing the sufficient exploration in the uncertain environment, the guardian intervenes under dangerous situations and demonstrates the correct actions to avoid potential accidents. Thus ERL enables both exploration and expert's partial demonstration as two training sources. Following such a setting, we develop a novel Expert Guided Policy Optimization (EGPO) method which integrates the guardian in the loop of reinforcement learning. The guardian is composed of an expert policy to generate demonstration and a switch function to decide when to intervene. Particularly, a constrained optimization technique is used to tackle the trivial solution that the agent deliberately behaves dangerously to deceive the expert into taking over. Offline RL technique is further used to learn from the partial demonstration generated by the expert. Safe driving experiments show that our method achieves superior training and test-time safety, outperforms baselines with a substantial margin in sample efficiency, and preserves the generalizabiliy to unseen environments in test-time. Demo video and source code are available at: https://decisionforce.github.io/EGPO/

研究动机与目标

• 为解决现实世界强化学习中训练安全性的关键挑战，特别是在自动驾驶等高风险领域。
• 开发一种框架，通过整合人类在环的守护者机制，在必要时实施干预并提供纠正示范，实现安全探索。
• 防止智能体通过故意诱发干预来利用守护者，确保智能体学习到鲁棒且安全的行为。
• 有效利用专家提供的部分、离策略示范数据，以提升样本效率与策略泛化能力。
• 在真实驾驶环境中验证该方法在高安全性和高性能方面的有效性。

提出的方法

• 守护者机制由一个切换函数和一个专家策略组成：切换函数用于检测危险行为并触发专家干预，专家策略则在干预期间提供纠正动作。
• 采用基于拉格朗日乘子的约束优化方法，限制干预频率，防止智能体为安全而过度依赖专家。
• 通过 PID 控制器更新拉格朗日乘子，以稳定离策略强化学习中的对偶优化，提升收敛性与训练稳定性。
• 采用 CQL（保守 Q-Learning）目标的离线强化学习方法，对从守护者收集的离策略示范数据进行训练。
• 该方法结合在线探索与专家示范，仅以干预发生作为奖励信号，实现高效的模仿学习。
• 切换函数通过统计方法学习，而非预设的规则，使其能够泛化至多种多样的危险场景。

实验结果

研究问题

• RQ1 结合干预与示范的守护者机制是否能提升强化学习中的训练安全性与样本效率？
• RQ2 如何防止智能体通过频繁诱发干预来规避学习，从而利用守护者？
• RQ3 当示范数据高度离策略且不完整时，离线强化学习技术在多大程度上能稳定策略学习？
• RQ4 与标准的安全强化学习和模仿学习基线相比，所提方法在未见环境中的泛化能力是否更优？
• RQ5 在人类监督成本较高的情况下，该方法是否能以极少的环境交互实现高性能？

主要发现

• EGPO 在测试中取得 0.85 ± 0.05 的成功率与 388.37 ± 10.01 的回合回报，显著优于基线方法，在安全性和样本效率方面表现更优。
• 消融实验表明，若移除干预最小化机制，智能体会驶向道路边界，导致成功率归零（0.0）且成本达 1.0，证明该机制的必要性。
• 使用低质量专家（成功率仅 30%）会增加训练成本并降低性能，验证了训练安全性受专家安全性的上限约束。
• 拉格朗日乘子更新采用 PID 控制器可稳定训练过程；若移除该控制器，学习过程将变得极不稳定，证实其关键作用。
• 即使使用更少的人类数据，EGPO 仍优于行为克隆与 IL 基线方法，展现出在模仿学习中的高效性。
• 在人类在环实验中，EGPO 仅用 15,000 步环境交互即达到 90% 的成功率，而 SAC-Lag 需要 185,000 步，凸显其卓越的样本效率。