[论文解读] Potential Game-Based Decision-Making for Autonomous Driving

Mushuang Liu, Ilya Kolmanovsky+4 more|arXiv (Cornell University)|Jan 16, 2022

Energy, Environment, and Transportation Policies被引用 4

一句话总结

本文提出了基于有限和连续势博弈的自主驾驶决策框架，结合模型预测控制与代价函数设计，确保了纯策略纳什均衡存在的理论保证及收敛性。与强化学习和控制屏障函数相比，该方法在应对缺乏安全意识的周边车辆时表现出更优的鲁棒性，在所有测试场景（包括十字路口穿越和变道）中均实现零碰撞。

ABSTRACT

Decision-making for autonomous driving is challenging, considering the complex interactions among multiple traffic agents (e.g., autonomous vehicles (AVs), human drivers, and pedestrians) and the computational load needed to evaluate these interactions. This paper develops two general potential game based frameworks, namely, finite and continuous potential games, for decision-making in autonomous driving. The two frameworks account for the AVs' two types of action spaces, i.e., finite and continuous action spaces, respectively. We show that the developed frameworks provide theoretical guarantees, including 1) existence of pure-strategy Nash equilibria, 2) convergence of the Nash equilibrium (NE) seeking algorithms, and 3) global optimality of the derived NE (in the sense that both self- and team- interests are optimized). In addition, we provide cost function shaping approaches to constructing multi-agent potential games in autonomous driving. Moreover, two solution algorithms, including self-play dynamics (e.g., best response dynamics) and potential function optimization, are developed for each game. The developed frameworks are then applied to two different traffic scenarios, including intersection-crossing and lane-changing in highways. Statistical comparative studies, including 1) finite potential game vs. continuous potential game, and 2) best response dynamics vs. potential function optimization, are conducted to compare the performances of different solution algorithms. It is shown that both developed frameworks are practical (i.e., computationally efficient), reliable (i.e., resulting in satisfying driving performances in diverse scenarios and situations), and robust (i.e., resulting in satisfying driving performances against uncertain behaviors of the surrounding vehicles) for real-time decision-making in autonomous driving.

研究动机与目标

• 解决在自动驾驶车辆、人类驾驶车辆与行人之间复杂、实时交互下的多智能体决策问题。
• 克服现有博弈论方法的局限性，如纯策略纳什均衡不存在、收敛性问题及可扩展性差。
• 开发理论基础坚实的框架，确保纳什均衡的存在性与收敛性，同时保持实时实现的计算可行性。
• 提升对缺乏安全意识的周边车辆的鲁棒性，弥补强化学习与基于控制屏障函数方法的关键缺陷。
• 提供适用于十字路口穿越与变道场景的实用化公式，通过全面的统计对比进行验证。

提出的方法

• 为自动驾驶车辆决策构建有限与连续势博弈框架，分别适用于离散与连续动作空间。
• 提出一种代价函数设计方法，使智能体目标与常见驾驶目标（如安全、效率）对齐，同时保证博弈为势博弈。
• 将滚动时域优化与势博弈框架结合，实现实时、动态的决策。
• 基于最优响应动态与势函数优化，设计可扩展的纳什均衡搜寻算法。
• 在十字路口穿越与变道场景中，通过数值仿真对比实现与比较不同框架，涵盖多样化的周边车辆策略。
• 采用预测-校正避碰（PCCA）作为CBF的变体以实现公平比较，并施加有界动作空间约束。

实验结果

研究问题

• RQ1 有限与连续动作空间下，势博弈框架能否有效应用于自主驾驶决策？
• RQ2 所提框架如何确保纯策略纳什均衡的存在性及均衡搜寻算法的收敛性？
• RQ3 与强化学习和控制屏障函数相比，势博弈方法在应对非安全意识周边车辆时的鲁棒性如何？
• RQ4 在实时驾驶场景中，势博弈方法的计算效率与强化学习及CBF方法相比如何？
• RQ5 代价函数设计方法能否生成体现常见驾驶目标的安全、高效与协作行为？

主要发现

• 有限与连续势博弈框架保证了纯策略纳什均衡的存在性及均衡搜寻算法的收敛性。
• 在十字路口穿越场景中，势博弈方法在所有5000次仿真中均实现零碰撞（0/5000），即使周边车辆采用恒定速度策略，也优于强化学习（2403/5000次碰撞）与CBF（2229/5000次碰撞）。
• 在纳什均衡策略下，平均自车速度为3.78 m/s；在恒定速度策略下为3.05 m/s，表明其在性能与安全性之间实现良好平衡。
• 势博弈方法的平均计算时间为0.05 s（最大0.10 s），远低于0.5 s的采样周期，证实其具备实时可行性。
• 势博弈方法展现出最高鲁棒性，在纳什均衡与恒定速度策略下均无碰撞，而强化学习与CBF方法在非安全意识行为下均出现失败。
• 统计对比结果表明，基于势博弈的决策方法在计算效率与鲁棒性方面均优于强化学习与CBF，尤其在不可预测交通环境中表现更优。