[论文解读] On the linear convergence of distributed Nash equilibrium seeking for multi-cluster games under partial-decision information

Min Meng, Xiuxian Li|arXiv (Cornell University)|May 14, 2020

Distributed Control Multi-Agent Systems参考文献 32被引用 12

一句话总结

该论文提出了一种离散时间分布式投影梯度追踪算法（DPGT），用于在部分决策信息下求解多集群博弈中的纳什均衡（NE），其中集群内代理合作而集群间竞争。该算法通过局部信息及集群间与集群内通信，确保在温和条件下以加权Frobenius范数和欧几里得范数证明下线性收敛至NE。

ABSTRACT

This paper considers the distributed strategy design for Nash equilibrium (NE) seeking in multi-cluster games under a partial-decision information scenario. In the considered game, there are multiple clusters and each cluster consists of a group of agents. A cluster is viewed as a virtual noncooperative player that aims to minimize its local payoff function and the agents in a cluster are the actual players that cooperate within the cluster to optimize the payoff function of the cluster through communication via a connected graph. In our setting, agents have only partial-decision information, that is, they only know local information and cannot have full access to opponents' decisions. To solve the NE seeking problem of this formulated game, a discrete-time distributed algorithm, called distributed gradient tracking algorithm (DGT), is devised based on the inter- and intra-communication of clusters. In the designed algorithm, each agent is equipped with strategy variables including its own strategy and estimates of other clusters' strategies. With the help of a weighted Fronbenius norm and a weighted Euclidean norm, theoretical analysis is presented to rigorously show the linear convergence of the algorithm. Finally, a numerical example is given to illustrate the proposed algorithm.

研究动机与目标

• 填补现有离散时间算法在多集群博弈中纳什均衡（NE）求解与部分决策信息下的空白。
• 建模集群内代理合作以优化共享收益，而集群作为竞争的虚拟玩家的场景。
• 设计一种仅依赖本地信息的分布式算法，避免对中心协调器的依赖。
• 在温和假设下建立所提算法的线性收敛性，确保实际可实施性。
• 利用加权矩阵范数提供理论保证，以分析收敛速度与稳定性。

提出的方法

• 提出一种离散时间分布式投影梯度追踪算法（DPGT），其中每个代理维护其自身策略，并估计其他集群的策略。
• 通过连通网络实现集群间通信，通过同一集群内代理间的连通图实现集群内通信。
• 使用加权Frobenius范数和加权欧几里得范数分析算法的收敛行为。
• 设计结合梯度追踪与投影至本地可行策略集的更新规则，以确保约束满足。
• 通过Sylvester准则和对角占优性分析矩阵谱半径，建立收敛条件。
• 采用类似李雅普诺夫的函数与递归误差界，证明在步长和网络连通性温和假设下的线性收敛性。

实验结果

研究问题

• RQ1 能否设计一种离散时间分布式算法，在多集群博弈与部分决策信息下实现NE求解的线性收敛？
• RQ2 集群内的代理如何通过本地通信协作，以估计并优化集群的收益函数？
• RQ3 步长与网络拓扑的何种条件可确保所提算法的线性收敛？
• RQ4 在分布式多集群设置中，如何将梯度追踪与基于投影的更新相结合？
• RQ5 能否使用加权矩阵范数而非标准范数，建立理论收敛保证？

主要发现

• 所提出的DPGT算法在温和假设下实现线性收敛至纳什均衡，包括梯度的Lipschitz连续性与局部代价函数的强凸性。
• 线性收敛性通过加权Frobenius范数（用于策略估计误差）与加权欧几里得范数（用于梯度追踪误差）严格证明。
• 若步长α满足由谱半径条件导出的严格上界，则算法线性收敛：α < min{ n/(4μ), 1/(√2(1+σ)L), √2σ²/((1−σ)L), (1−σ²)/(3√2σL), 2μ(1−σ)/(3nL²), √(2(1−σ²))/(√3 L) }。
• 收敛速率由构造矩阵Mα的谱半径决定，该谱半径在所推导的步长条件下被证明小于1。
• 在古诺竞争博弈上的数值结果验证了DPGT算法的线性收敛性与实际有效性。
• 理论框架将先前的连续时间方法扩展至离散时间，使其实现更易于应用于通信受限的真实多智能体系统。