[论文解读] Payoff-Based Approach to Learning Generalized Nash Equilibria in Convex Games

Tatiana Tatarenko, Maryam Kamgarpour|arXiv (Cornell University)|Mar 12, 2017

Game Theory and Applications参考文献 29被引用 4

一句话总结

本文提出了一种分布式、基于收益的算法，用于在紧致凸约束集的凸博弈中学习广义纳什均衡（GNE）。各 agent 仅使用本地成本函数值和约束函数值以及对偶乘子，当存在严格凸的势函数时，可实现向 GNE 的收敛；在无耦合约束的情况下，若博弈映射具有严格单调性，则同样可实现收敛，且对强单调映射建立了收敛速率。

ABSTRACT

We consider multi-agent decision making where each agent optimizes its convex cost function subject to individual and coupling constraints. The constraint sets are compact convex subsets of a Euclidean space. To learn Nash equilibria, we propose a novel distributed payoff-based algorithm, such that each agent uses information only about its cost function values and the constraint function values with their associated dual multiplier. We prove convergence of this algorithm to a Nash equilibrium, under the assumption that the game admits a strictly convex potential function. In the absence of coupling constraints, we prove convergence to Nash equilibria under significantly weaker assumptions, not requiring a potential function. Namely, strict monotonicity of the game mapping is sufficient for convergence. We also derive the convergence rate of the algorithm for strongly monotone game maps.

研究动机与目标

• 开发一种分布式学习算法，使 agents 能够仅使用收益和约束信息收敛至广义纳什均衡（GNE）。
• 通过仅使用成本函数值和对偶乘子，降低对完整梯度或预言机访问的依赖。
• 在弱于先前工作的假设下建立向 GNE 的收敛性，特别是在无耦合约束的情况下。
• 分析在博弈映射强单调性条件下的收敛速率，扩展该方法在更广泛博弈类别中的适用性。

提出的方法

• 设计一种分布式基于收益的算法，其中每个 agent 根据观测到的成本函数值和约束函数值，以及对偶乘子来更新其策略。
• 采用仅使用函数评估的投影梯度型更新规则，避免显式计算梯度。
• 引入对偶乘子更新机制，以在博弈中强制执行耦合约束，确保解的可行性。
• 使用势函数概念进行收敛性分析，证明势函数的严格凸性可确保收敛至 GNE。
• 应用算子单调性理论，在无耦合约束时，基于博弈映射的严格单调性建立收敛性。
• 通过李雅普诺夫分析和算子理论工具，推导出当博弈映射为强单调时的算法收敛速率。

实验结果

研究问题

• RQ1 在具有耦合约束的凸博弈中，分布式基于收益的算法能否收敛至广义纳什均衡？
• RQ2 何种最低信息需求（例如仅成本和约束值）足以保证向 GNE 的收敛？
• RQ3 严格凸势函数的存在是否能保证所提基于收益算法的收敛性？
• RQ4 在无势函数存在的情况下，能否在更弱假设（如博弈映射的严格单调性）下建立收敛性？
• RQ5 当博弈映射为强单调时，该算法的收敛速率是多少？

主要发现

• 当博弈存在严格凸势函数时，所提出的基于收益的算法可收敛至广义纳什均衡。
• 在无耦合约束的情况下，若博弈映射满足严格单调性这一较弱假设，则可保证收敛至纳什均衡。
• 当博弈映射为强单调时，算法实现线性收敛速率，表明在有利条件下收敛速度较快。
• 该方法仅需最少信息——仅成本函数值和约束函数值及其对偶乘子——使其在去中心化环境中具有实际可行性。
• 收敛性证明依赖于算子理论工具和李雅普诺夫分析，在紧致凸约束集下表现出强鲁棒性。
• 该框架将现有基于收益的学习方法扩展至具有耦合约束的博弈，显著拓宽了其在受限多智能体优化问题中的适用范围。