[论文解读] Towards a Systematic Computational Framework for Modeling Multi-Agent Decision-Making at Micro Level for Smart Vehicles in a Smart World

Qi Dai, Xunnong Xu+3 more|arXiv (Cornell University)|Sep 25, 2020

Traffic control and management参考文献 54被引用 17

一句话总结

本文提出了一种计算高效的博弈论框架，用于在智能交通环境中对自动驾驶与人类驾驶车辆的微观决策行为进行建模，采用带有风险溢价的效用函数的确定性马尔可夫博弈。该框架引入一种新颖的自适应优化方法，具备有限前瞻预测能力，以极低的计算成本实现接近纳什均衡的行为表现，通过真实的高速公路汇入仿真得到验证，其行为与纳什均衡解高度相似。

ABSTRACT

We propose a multi-agent based computational framework for modeling decision-making and strategic interaction at micro level for smart vehicles in a smart world. The concepts of Markov game and best response dynamics are heavily leveraged. Our aim is to make the framework conceptually sound and computationally practical for a range of realistic applications, including micro path planning for autonomous vehicles. To this end, we first convert the would-be stochastic game problem into a closely related deterministic one by introducing risk premium in the utility function for each individual agent. We show how the sub-game perfect Nash equilibrium of the simplified deterministic game can be solved by an algorithm based on best response dynamics. In order to better model human driving behaviors with bounded rationality, we seek to further simplify the solution concept by replacing the Nash equilibrium condition with a heuristic and adaptive optimization with finite look-ahead anticipation. In addition, the algorithm corresponding to the new solution concept drastically improves the computational efficiency. To demonstrate how our approach can be applied to realistic traffic settings, we conduct a simulation experiment: to derive merging and yielding behaviors on a double-lane highway with an unexpected barrier. Despite assumption differences involved in the two solution concepts, the derived numerical solutions show that the endogenized driving behaviors are very similar. We also briefly comment on how the proposed framework can be further extended in a number of directions in our forthcoming work, such as behavioral calibration using real traffic video data, computational mechanism design for traffic policy optimization, and so on.

研究动机与目标

• 开发一种系统化且计算实用的框架，用于在微观层面建模智能车辆中的多智能体决策行为。
• 通过引入具有有限前瞻预测能力的启发式自适应优化方法，缓解纳什均衡的局限性，特别是高计算成本和强理性假设问题。
• 通过简化求解概念，在保持真实驾驶行为的前提下，实现自动驾驶车辆的实时微观路径规划。
• 在存在意外障碍物的双车道高速公路上，验证该框架在建模协调汇入与让行行为方面的有效性。
• 为未来在混合交通环境中的行为校准、交通政策优化及系统级协同提供基础。

提出的方法

• 通过在每个智能体的效用函数中引入风险溢价，将随机博弈转化为确定性博弈，以降低状态追踪的复杂度。
• 使用最优响应动态方法求解简化的确定性博弈，以计算子博弈完美纳什均衡。
• 提出一种基于自适应优化与有限前瞻预测的新求解概念，以缓解纳什均衡所依赖的不现实理性假设。
• 在自适应Seek算法中使用网格搜索，以确定性方式计算最优动作序列，避免多均衡问题。
• 对智能体间交互进行对称建模，同时显式体现其在偏好、意图和初始条件上的异质性。
• 通过不同初始条件下的两车汇入场景仿真，对比纳什均衡与自适应优化方法的结果，对框架进行验证。

实验结果

研究问题

• RQ1 如何在智能世界中设计一种计算高效且概念严谨的框架，用于自动驾驶车辆的微观决策行为建模？
• RQ2 具有有限前瞻预测能力的启发式自适应优化方法在多大程度上能近似纳什均衡行为，同时显著降低计算负担？
• RQ3 在真实交通场景中，纳什均衡与自适应优化求解概念所导出的驾驶行为（如汇入与让行）在多大程度上相似？
• RQ4 该框架在模型参数、效用权重发生微小扰动，或状态演化中引入小随机噪声时，是否具备鲁棒性？
• RQ5 如何将该框架扩展以支持行为校准、交通规则优化及混合交通环境中的系统级协同？

主要发现

• 基于有限前瞻预测的启发式自适应优化的adaptiveSeek算法，其生成的动作序列与车辆轨迹在视觉上和半定量上与子博弈完美纳什均衡解所得结果高度相似。
• 尽管求解概念与假设不同，betaNash与adaptiveSeek方法在内生生成的驾驶行为（如前车汇入与后车汇入）方面表现出显著一致性。
• adaptiveSeek方法显著降低了计算负担，同时通过小时间间隔下双重积分的动作序列，保持了平滑且真实的车辆轨迹。
• adaptiveSeek算法生成确定性解，避免了多均衡问题，相较于随机方法具有显著优势。
• 两种方法的解对参数的微小扰动及状态演化中的小随机噪声均表现出鲁棒性。
• 该框架成功建模了在存在意外障碍物的双车道高速公路上的协调汇入与让行行为，验证了其在真实路径规划中的实际适用性。