[论文解读] Multilinear Formulations for Computing a Nash Equilibrium of Multi-Player Games

Fischer, Miriam, Gupte, Akshay|arXiv (Cornell University)|Jan 1, 2023

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出 ADIDAS，一种基于样本的梯度下降算法，通过追踪到极限 logit 均衡的同伦路径，在具有大量玩家和行动的大型非合作型博弈中近似计算纳什均衡。该方法采用自适应采样和偏差减少技术，高效处理庞大的收益张量，实现了在最多七名玩家和21种行动的博弈中对纳什均衡的可扩展近似——其规模比以往可行的范围大几个数量级。

ABSTRACT

We present multilinear and mixed-integer multilinear programs to find a Nash equilibrium in multi-player noncooperative games. We compare the formulations to common algorithms in Gambit, and conclude that a multilinear feasibility program finds a Nash equilibrium faster than any of the methods we compare it to, including the quantal response equilibrium method, which is recommended for large games. Hence, the multilinear feasibility program is an alternative method to find a Nash equilibrium in multi-player games, and outperforms many common algorithms. The mixed-integer formulations are generalisations of known mixed-integer programs for two-player games, however unlike two-player games, these mixed-integer programs do not give better performance than existing algorithms.

研究动机与目标

• 解决在具有大量玩家和行动的大型非合作型博弈中计算纳什均衡的可扩展性差距。
• 克服在多玩家博弈中存储和处理巨大收益张量所导致的内存和计算不可行性。
• 提供一种实用的、基于样本的方法，在精确计算不可行时仍能近似唯一纳什均衡。
• 通过自适应采样和熵正则化，有效减少在平均偏离激励目标的随机近似中产生的梯度偏差。
• 在如《外交》这类完整博弈枚举不可行的复杂环境中，实现对多智能体策略的可扩展评估。

提出的方法

• ADIDAS 从一个熵逐渐减小的正则化博弈出发，沿同伦路径追踪至极限 logit 均衡，该均衡在几乎所有博弈中都是唯一确定的。
• 将平均偏离激励（ADI）表述为一个非凸、非光滑的目标函数，其中包含非线性最大值算子，导致随机梯度中引入偏差。
• 该算法采用带自适应采样收益张量条目的随机梯度下降，通过蒙特卡洛估计最小化 ADI 目标函数。
• 使用 Tsallis 熵正则化，并随时间退火温度参数，以稳定学习过程并减少偏差。
• 一个关键创新是同时对策略分布和收益梯度估计采用对偶梯度更新，并通过单纯形投影保持有效的概率分布。
• 该方法通过迭代构建并响应全博弈的双线性近似，引入多图博弈近似，将其与经典求解器联系起来。

实验结果

研究问题

• RQ1 在无法完整存储收益的大型多玩家非合作型博弈中，基于样本的梯度下降方法能否近似唯一纳什均衡？
• RQ2 在 ADI 目标函数中，如何有效缓解非线性最大值算子带来的随机近似中的梯度偏差？
• RQ3 在高维博弈中，同伦延续和熵正则化在引导收敛至稳定、唯一均衡方面能发挥多大作用？
• RQ4 所提出的方法能否扩展至超过七名玩家和21种行动的博弈，显著超越以往的计算极限？
• RQ5 在《外交》等复杂多智能体环境中，ADIDAS 与无遗憾学习基线相比，在收敛性和准确性方面表现如何？

主要发现

• ADIDAS 在一个七名玩家、21种行动的非合作型博弈中成功近似出唯一纳什均衡，该博弈包含数十亿种结果，展示了超越以往方法的可扩展性。
• 该算法在经典求解器因内存和计算限制而不可行的博弈中，实现了向稳定均衡的收敛。
• 通过自适应采样和 Tsallis 熵正则化，有效减少了来自最大值算子的梯度偏差，实现了稳定的优化。
• 利用同伦延续至极限 logit 均衡，避免了均衡选择问题，因为该均衡在几乎所有博弈中都是唯一的。
• 实证结果表明，ADIDAS 在收敛至类似纳什的策略分布方面优于无遗憾学习基线，尤其在《外交》等复杂高维博弈中表现更优。
• 该方法实现了对21个《外交》机器人在元博弈中的可扩展评估，其规模相比以往评估提升了超过1000倍。