[论文解读] The Computation of Approximate Generalized Feedback Nash Equilibria

Forrest Laine, David Fridovich-Keil+2 more|arXiv (Cornell University)|Jan 8, 2021

Advanced Control Systems Optimization参考文献 21被引用 7

一句话总结

本文提出了广义反馈准纳什均衡（GFQNE），作为在约束动态博弈中广义反馈纳什均衡（GFNE）的一种计算上可行的近似方法。提出了一种顺序线性-二次博弈方法，通过迭代求解局部LQ近似，实现了在非线性、状态与输入受限博弈中高效计算反馈均衡，已在自动驾驶变道场景中得到验证。

ABSTRACT

We present the concept of a Generalized Feedback Nash Equilibrium (GFNE) in dynamic games, extending the Feedback Nash Equilibrium concept to games in which players are subject to state and input constraints. We formalize necessary and sufficient conditions for (local) GFNE solutions at the trajectory level, which enable the development of efficient numerical methods for their computation. Specifically, we propose a Newton-style method for finding game trajectories which satisfy necessary conditions for an equilibrium, which can then be checked against sufficiency conditions. We show that the evaluation of the necessary conditions in general requires computing a series of nested, implicitly-defined derivatives, which quickly becomes intractable. To this end, we introduce an approximation to the necessary conditions which is amenable to efficient evaluation, and in turn, computation of solutions. We term the solutions to the approximate necessary conditions Generalized Feedback Quasi-Nash Equilibria (GFQNE), and we introduce numerical methods for their computation. In particular, we develop a Sequential Linear-Quadratic Game approach, in which a LQ local approximation of the game is solved at each iteration. The development of this method relies on the ability to compute a GFNE to inequality- and equality-constrained LQ games, and therefore specific methods for the solution of these special cases are developed in detail. We demonstrate the effectiveness of the proposed solution approach on a dynamic game arising in an autonomous driving application.

研究动机与目标

• 为解决在具有通用状态和输入约束的非线性动态博弈中计算反馈纳什均衡的数值方法缺乏的问题。
• 克服由于嵌套的隐式导数导致的精确计算GFNE必要条件的不可行性。
• 开发一种高效、非参数化的近似均衡计算方法，同时保持动态博弈反馈结构的一致性。
• 使反馈均衡在现实系统（如自动驾驶车辆）中的实际应用成为可能，其中安全性和约束合规性至关重要。
• 为适用于一般约束动态博弈（超越LQ情形）的可扩展、迭代式求解方法提供基础。

提出的方法

• 引入一种非参数化、隐式策略形式，以避免参数化GFNE形式带来的计算不可行性。
• 通过用策略拟梯度近似替代精确导数，提出对GFNE必要条件的近似。
• 将广义反馈准纳什均衡（GFQNE）定义为近似必要条件的解，从而实现高效计算。
• 开发顺序线性-二次博弈（SLQG）方法，在每次迭代中求解博弈的局部LQ近似。
• 设计针对等式与不等式约束LQ博弈的专用求解技术，构成SLQG迭代的核心。
• 采用类似牛顿的方法求解GFNE的必要条件，并通过充分性检验验证均衡候选解。

(a) $\sigma_{polite}=0$

实验结果

研究问题

• RQ1 如何在同时具有状态和输入约束的非线性动态博弈中高效计算反馈纳什均衡？
• RQ2 是否存在一种避免复杂嵌套导数的、对GFNE必要条件的可行近似？
• RQ3 顺序LQ近似方法是否能在约束动态博弈中收敛到有意义的反馈均衡？
• RQ4 与精确GFNE相比，所提出的GFQNE形式在计算可行性与解质量方面表现如何？
• RQ5 该方法能否在具有安全性和约束要求的现实世界自动驾驶车辆协同问题中有效应用？

主要发现

• 所提出的GFQNE形式使得在先前无有效方法的非线性、受限动态博弈中，能够高效计算反馈均衡。
• 顺序线性-二次博弈方法在涉及三辆自动驾驶车辆的动态变道场景中成功计算出解。
• 该方法在不同亲和系数取值（σ_polite = 0 和 5）下表现出鲁棒性，显示出对合作与竞争目标的适应能力。
• GFQNE解满足所有状态与输入约束，包括最小间距（d_min = 3.3）和保持车道要求。
• 求解过程计算高效，通过局部LQ近似在有限次迭代内实现收敛。
• 该方法能够计算出对博弈状态演化做出响应的反馈策略，支持在动态环境中实现反应式、自适应行为。

(b) $\sigma_{polite}=5$