[论文解读] Nash Equilibrium Seeking in N-Coalition Games via a Gradient-Free Method

Yipeng Pang, Guoqiang Hu|arXiv (Cornell University)|Aug 29, 2020

Distributed Control Multi-Agent Systems参考文献 23被引用 10

一句话总结

该论文提出了一种针对N联盟非合作博弈的离散时间、无梯度纳什均衡（NE）求解算法，其中参与者无法获取显式代价函数梯度。通过使用局部高斯平滑进行梯度估计，并利用局部梯度追踪机制聚合联盟层面的梯度，该方法在游戏映射强单调的条件下实现了对纳什均衡邻域的几何收敛，且误差受步长和平滑参数的约束。

ABSTRACT

This paper studies an $N$-coalition non-cooperative game problem, where the players in the same coalition cooperatively minimize the sum of their local cost functions under a directed communication graph, while collectively acting as a virtual player to play a non-cooperative game with other coalitions. Moreover, it is assumed that the players have no access to the explicit functional form but only the function value of their local costs. To solve the problem, a discrete-time gradient-free Nash equilibrium seeking strategy, based on the gradient tracking method, is proposed. Specifically, a gradient estimator is developed locally based on Gaussian smoothing to estimate the partial gradients, and a gradient tracker is constructed locally to trace the average sum of the partial gradients among the players within the coalition. With a sufficiently small constant step-size, we show that all players' actions approximately converge to the Nash equilibrium at a geometric rate under a strongly monotone game mapping condition. Numerical simulations are conducted to verify the effectiveness of the proposed algorithm.

研究动机与目标

• 解决参与者无法获取其本地代价函数显式梯度信息的N联盟非合作博弈问题。
• 设计一种分布式、离散时间算法，使参与者在无需模型知识的情况下收敛至纳什均衡。
• 确保收敛至真实NE的邻域，并具备可量化的误差界。
• 将先前用于分布式优化的梯度追踪方法拓展至非合作博弈中的纳什均衡求解场景。

提出的方法

• 通过高斯平滑构造局部梯度估计器，仅基于函数值测量近似每个参与者的代价函数的偏梯度。
• 每个参与者使用梯度追踪机制维护其所在联盟内平均梯度的本地估计。
• 算法采用固定步长以确保几何收敛，参与者基于追踪到的梯度信息更新其策略。
• 该方法结合基于收益的优化技术与博弈论均衡求解，实现在有向通信图下的去中心化实施。
• 每个联盟内的参与者协同最小化其本地代价之和，同时作为与其他联盟进行非合作博弈的单一虚拟参与者。
• 该方法可处理光滑与非光滑代价函数，利用高斯平滑的鲁棒性。

实验结果

研究问题

• RQ1 仅基于函数值访问，无梯度的离散时间算法能否在N联盟非合作博弈中实现对纳什均衡的几何收敛？
• RQ2 高斯平滑与梯度追踪的结合如何提升在梯度信息有限博弈中的收敛性能？
• RQ3 步长与平滑参数对纳什均衡近似精度有何影响？
• RQ4 所提方法能否在有向通信图下且无需显式梯度知识时保持收敛？
• RQ5 近似均衡与真实纳什均衡之间的误差如何随算法参数变化？

主要发现

• 在强单调游戏映射条件下，所有参与者的策略几何收敛至纳什均衡的邻域。
• 近似均衡与真实NE之间的误差由与步长α和平滑参数μ成比例的项所界定。
• 当采用足够小的固定步长时，算法在期望下实现线性收敛速率，数值仿真已验证该结果。
• 随着步长与平滑参数的减小，收敛精度提高，验证了理论误差界。
• 在每联盟6名参与者的4联盟古诺博弈中进行的数值仿真表明，所有参与者的策略近似收敛至NE。
• 在不同步长下，误差差距在对数坐标图上呈线性衰减，证实了几何收敛特性，且更小的步长带来更高的精度。