[论文解读] Safe Autonomous Racing via Approximate Reachability on Ego-vision

Bingqing Chen, Jonathan Francis+3 more|arXiv (Cornell University)|Oct 14, 2021

Adversarial Robustness in Machine Learning参考文献 42被引用 5

一句话总结

该论文提出SAGE，一种用于自主竞速的安全强化学习框架，利用哈密顿-雅可比可达性理论，直接从本车摄像头视觉和速度中学习安全价值，实现低延迟安全验证。通过在高维视觉输入上使用神经网络近似训练安全评论家（safety critic），此前在HJ可达性中不可行，该方法在Safety Gym和Learn-to-Race基准上实现了最先进性能，且约束违规显著减少。

ABSTRACT

Racing demands each vehicle to drive at its physical limits, when any safety infraction could lead to catastrophic failure. In this work, we study the problem of safe reinforcement learning (RL) for autonomous racing, using the vehicle's ego-camera view and speed as input. Given the nature of the task, autonomous agents need to be able to 1) identify and avoid unsafe scenarios under the complex vehicle dynamics, and 2) make sub-second decision in a fast-changing environment. To satisfy these criteria, we propose to incorporate Hamilton-Jacobi (HJ) reachability theory, a safety verification method for general non-linear systems, into the constrained Markov decision process (CMDP) framework. HJ reachability not only provides a control-theoretic approach to learn about safety, but also enables low-latency safety verification. Though HJ reachability is traditionally not scalable to high-dimensional systems, we demonstrate that with neural approximation, the HJ safety value can be learned directly on vision context -- the highest-dimensional problem studied via the method, to-date. We evaluate our method on several benchmark tasks, including Safety Gym and Learn-to-Race (L2R), a recently-released high-fidelity autonomous racing environment. Our approach has significantly fewer constraint violations in comparison to other constrained RL baselines in Safety Gym, and achieves the new state-of-the-art results on the L2R benchmark task. We provide additional visualization of agent behavior at the following anonymized paper website: https://sites.google.com/view/safeautonomousracing/home

研究动机与目标

• 解决高速自主竞速中的安全挑战，其中亚秒级决策和物理极限运行增加了安全风险。
• 实现实时安全验证，适用于高维视觉观测空间，传统可达性方法因可扩展性问题而失效。
• 将哈密顿-雅可比可达性整合到约束马尔可夫决策过程（CMDP）框架中，实现安全与性能学习的解耦。
• 开发一个安全评论家，直接从RGB摄像头输入和速度中学习基于HJ的安全价值，避免对完整状态估计的依赖。
• 在高保真竞速模拟器中实现鲁棒安全与高性能，而无需依赖精确的动力学模型。

提出的方法

• 使用哈密顿-雅可比（HJ）可达性理论定义一个安全价值函数 $ Q_S(x,u) $，用于验证在时间 horizon 内状态-动作对是否安全。
• 通过神经网络训练安全评论家，直接从本车摄像头RGB图像和车辆速度中近似HJ安全价值函数，实现高维输入处理。
• 将学习过程分解为两个独立策略：一个性能策略，用于优化速度和轨迹；一个安全控制器，在 $ Q_S(x,u) < \epsilon $ 时介入。
• 应用HJ贝尔曼更新规则，利用离策略经验学习安全评论家，确保理论上的安全保证。
• 采用双评论家演员-评论家架构，性能与安全使用独立优化器，结合熵正则化和目标网络。
• 利用回放缓冲区和离策略数据稳定训练，超参数经调优以实现实时竞速环境中的低延迟推理。

实验结果

研究问题

• RQ1 能否通过神经近似将哈密顿-雅可比可达性有效扩展到高维视觉观测（如本车RGB摄像头图像）？
• RQ2 与标准基线相比，将HJ可达性整合到约束强化学习框架中是否能提升高速自主竞速中的安全性和性能？
• RQ3 仅基于视觉输入训练的安全评论家能否实现可靠、低延迟的安全验证，而无需显式状态估计？
• RQ4 在高保真竞速环境中，所提出的SAGE框架与约束强化学习基线相比，在约束违规和任务完成度方面表现如何？
• RQ5 安全裕量 $ \epsilon $ 在多大程度上影响自主竞速中的性能与安全权衡？

主要发现

• SAGE在Learn-to-Race基准上达到新的最先进水平，所有驾驶质量指标（包括赛道完成率ECP、平均调整赛道速度AATS和轨迹效率TrE）均优于所有先前方法。
• 在Safety Gym上，SAGE的约束违规次数显著少于其他约束强化学习基线，表明其具备更优的安全执行能力。
• 基于本车视觉训练的安全评论家实现了可靠的低延迟安全验证，适用于实时竞速，支持亚秒级决策。
• 该方法成功直接从高维视觉输入中学习HJ安全价值——这是迄今为止使用HJ可达性研究的最高维系统。
• 当安全裕量 $ \epsilon = 3 $ 时，SAGE保持高ECP和稳定性能，而SafeSAC在相同裕量下仅实现微小改进，表明SAGE在安全感知策略学习方面更具优势。
• SafeRandom基线表明，需 $ \epsilon = 4.2 $ 才能达到80%以上的赛道完成率，验证了SAGE中所选 $ \epsilon $ 的鲁棒性。