[论文解读] Numerical approximation of Nash equilibria for a class of non-cooperative differential games

Simone Cacace, Emiliano Cristiani+1 more|arXiv (Cornell University)|Sep 16, 2011

Economic theories and models参考文献 13被引用 7

一句话总结

本文提出一种新颖的数值格式，通过动态规划与定点迭代求解静态Hamilton-Jacobi方程组，以逼近多玩家非合作微分博弈中的Nash均衡。该方法在一维和二维测试案例中实现收敛，即使在病态设定下也表现出鲁棒性，但当系统缺乏不动点时出现收敛失败，凸显该格式对问题结构的敏感性。

ABSTRACT

In this paper we propose a numerical method to obtain an approximation of Nash equilibria for multi-player non-cooperative games with a special structure. We consider the infinite horizon problem in a case which leads to a system of Hamilton-Jacobi equations. The numerical method is based on the Dynamic Programming Principle for every equation and on a global fixed point iteration. We present the numerical solutions of some two-player games in one and two dimensions. The paper has an experimental nature, but some features and properties of the approximation scheme are discussed.

研究动机与目标

• 开发一种用于逼近无限时域、指数贴现成本的非合作微分博弈中Nash均衡的数值方法。
• 将先前仅用于零和博弈的基于动态规划的逼近格式，扩展至非零和、多玩家微分博弈。
• 通过一维和二维的数值实验，分析所提格式的收敛性与稳定性。
• 研究该格式在病态条件及不动点映射不连续情况下的行为。
• 提供首个基于Hamilton-Jacobi系统的微分博弈中Nash均衡的计算框架。

提出的方法

• 该方法基于每个玩家值函数的动态规划原理，导出一阶Hamilton-Jacobi方程组。
• 采用半隐式与全隐式有限差分格式，对空间与时间方向上的Hamilton-Jacobi方程进行离散化。
• 采用全局定点迭代求解耦合方程组，同时更新所有值函数。
• 该格式使用常数初始猜测，并通过迭代逐步精炼解，直至收敛。
• 算法采用Gauss-Seidel型更新策略，通过不动点映射的Jacobian的无穷范数监控收敛性。
• 在具有已知解析解的问题以及存在扰动与不连续性的案例上测试该方法，以评估其鲁棒性。

实验结果

研究问题

• RQ1 能否将基于动态规划的数值格式适配用于计算非合作微分博弈中的Nash均衡？
• RQ2 定点迭代在求解多玩家博弈的耦合Hamilton-Jacobi方程组时表现如何？
• RQ3 当系统存在不连续性或病态性时，该格式的收敛特性如何？
• RQ4 当值函数不唯一或存在多个不动点时，该格式的行为如何？
• RQ5 该方法能否处理二维设定下的非凸或耦合动力学？

主要发现

• 在测试1中，该格式成功收敛至精确解，初始猜测恒为150。
• 在测试2中，即使系统受δ = 2的扰动，该格式仍收敛至合理近似解，且结果与无扰动情况高度一致。
• 在测试3中，值函数U1与U2在单位球内对称且相等，均为零，并沿外侧均匀增长，符合问题对称性的预期。
• 不动点映射的Jacobian的无穷范数被限制在1/(1+h)以内，表明其具有局部压缩性，且在迭代过程中保持稳定。
• 在测试4中，由于映射F中缺乏不动点，算法在某些节点上无法收敛，导致振荡行为。
• 在具有不连续且分段压缩映射的节点上，算法收敛至两个不动点（P与Q）之一，表明其对初始条件与局部动力学具有敏感性。