[论文解读] On Synchronous, Asynchronous, and Randomized Best-Response schemes for computing equilibria in Stochastic Nash games

Jinlong Lei, Uday V. Shanbhag+2 more|arXiv (Cornell University)|Apr 15, 2017

Game Theory and Voting Systems参考文献 41被引用 9

一句话总结

本文提出了一类不精确、分布式的最优响应（BR）方案——同步、随机化和异步——用于计算在随机纳什博弈中玩家最小化期望值凸目标函数的纳什均衡。通过结合邻近最优响应映射与随机逼近，作者建立了几乎必然收敛至纳什均衡的结果，并在均值上以速率 $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ 实现线性收敛，其中在同步情况下 $c=0$，达到近似最优的迭代复杂度。

ABSTRACT

This work considers a stochastic Nash game in which each player solves a parameterized stochastic optimization problem. In deterministic regimes, best-response schemes have been shown to be convergent under a suitable spectral property associated with the proximal best-response map. However, a direct application of this scheme to stochastic settings requires obtaining exact solutions to stochastic optimization at each iteration. Instead, we propose an inexact generalization in which an inexact solution is computed via an increasing number of projected stochastic gradient steps. Based on this framework, we present three inexact best-response schemes: (i) First, we propose a synchronous scheme where all players simultaneously update their strategies; (ii) Subsequently, we extend this to a randomized setting where a subset of players is randomly chosen to their update strategies while the others keep their strategies invariant; (iii) Finally, we propose an asynchronous scheme, where each player determines its own update frequency and may use outdated rival-specific data in updating its strategy. Under a suitable contractive property of the proximal best-response map, we derive a.s. convergence of the iterates for (i) and (ii) and mean-convergence for (i) -- (iii). In addition, we show that for (i) -- (iii), the iterates converge to the unique equilibrium in mean at a prescribed linear rate. Finally, we establish the overall iteration complexity in terms of projected stochastic gradient steps for computing an $ε-$Nash equilibrium and in all settings, the iteration complexity is ${\cal O}(1/ε^{2(1+c) + δ})$ where $c = 0$ in the context of (i) and represents the positive cost of randomization (in (ii)) and asynchronicity and delay (in (iii)). The schemes are further extended to linear and quadratic recourse-based stochastic Nash games.

研究动机与目标

• 开发用于在不确定性、延迟和异步环境下计算随机纳什博弈中纳什均衡的分布式、不精确最优响应方案。
• 通过使用随机逼近（SA）将精确最优响应方案的局限性转化为不精确解，以解决随机环境下的问题。
• 分析在具有压缩性邻近最优响应映射条件下，同步、随机化和异步最优响应方案的收敛性质——几乎必然收敛与均值收敛。
• 建立达到 $\epsilon$-纳什均衡的迭代复杂度边界，表明在同步情况下具有近似最优性。
• 将框架扩展至具有线性和二次后继的两阶段随机纳什博弈。

提出的方法

• 提出一种不精确邻近最优响应方案，其中每个玩家使用随机逼近（SA）方案近似求解其最优响应问题，避免精确求解随机子问题。
• 引入三种变体：(i) 同步更新，所有玩家同时更新；(ii) 随机化更新，以随机方式选择部分玩家进行更新；(iii) 异步更新，使用延迟或过时的对手数据。
• 利用邻近最优响应映射的压缩性质以确保收敛，结合该映射的谱条件与压缩条件。
• 采用投影随机梯度（SG）步骤计算不精确解，迭代复杂度以 $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ 表示。
• 通过在期望误差上建立归纳界推导收敛速率，表明 $\mathbb{E}[\|x_{j,k}-x_{j}^*\|] \leq (C+k)\rho^{\lfloor k/B_1 \rfloor}$，暗示线性收敛。
• 将框架扩展至具有线性和二次后继的两阶段随机纳什博弈，在多组合投资与容量扩展问题上进行了数值验证。

实验结果

研究问题

• RQ1 不精确最优响应方案结合随机逼近是否能在随机纳什博弈中实现收敛至纳什均衡？
• RQ2 在收敛性与迭代复杂度方面，同步、随机化和异步最优响应方案如何比较？
• RQ3 这些方案达到 $\epsilon$-纳什均衡的迭代复杂度是多少？与随机凸优化中的最优速率相比如何？
• RQ4 所提出的方案能否处理具有线性和二次后继的两阶段随机纳什博弈？
• RQ5 在异步性、随机化与延迟条件下，收敛速率是否仍保持线性？

主要发现

• 所提出的不精确最优响应方案在同步与随机化方案下实现了对纳什均衡的几乎必然收敛，在所有三种方案下实现了均值收敛。
• 所有方案均表现出均值线性收敛，期望误差受 $\mathbb{E}[\|x_{j,k}-x_{j}^*\|] \leq (C+k)\rho^{\lfloor k/B_1 \rfloor}$ 限制，表明其为线性速率而非次线性速率。
• 达到 $\epsilon$-纳什均衡的迭代复杂度为 $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$，其中在同步情况下 $c=0$，表明其接近最优。
• 在同步模式下，该方案在通过SA方案实现随机凸优化时达到了近乎最优的收敛速率。
• 在异步性与随机化条件下，收敛速率仍被保持，其中 $c>0$ 反映了这些特性在复杂度边界中的代价。
• 在多组合投资与两阶段容量扩展博弈上的数值结果验证了理论复杂度与收敛速率的正确性。