[论文解读] Multiplayer Bandit Learning, from Competition to Cooperation

Simina Brânzei, Yuval Peres|arXiv (Cornell University)|Aug 3, 2019

Advanced Bandit Algorithms Research参考文献 36被引用 6

一句话总结

本文研究在不同合作水平下的多人多臂赌博机学习问题，分别建模竞争（𝜆 = −1）、中立（𝜆 = 0）和完全合作（𝜆 = 1）的情形。研究结果表明，在所有纳什均衡中，竞争和中立玩家最终会协调到同一支臂上，而合作玩家则可能因策略性信息隐藏而无法达成稳定。关键发现是：竞争玩家的探索行为少于单个玩家，而合作玩家的探索行为多于单个玩家；中立玩家通过相互学习，其长期收益高于单独行动。

ABSTRACT

The stochastic multi-armed bandit model captures the tradeoff between exploration and exploitation. We study the effects of competition and cooperation on this tradeoff. Suppose there are $k$ arms and two players, Alice and Bob. In every round, each player pulls an arm, receives the resulting reward, and observes the choice of the other player but not their reward. Alice's utility is $Γ_A + λΓ_B$ (and similarly for Bob), where $Γ_A$ is Alice's total reward and $λ\in [-1, 1]$ is a cooperation parameter. At $λ= -1$ the players are competing in a zero-sum game, at $λ= 1$, they are fully cooperating, and at $λ= 0$, they are neutral: each player's utility is their own reward. The model is related to the economics literature on strategic experimentation, where usually players observe each other's rewards. With discount factor $β$, the Gittins index reduces the one-player problem to the comparison between a risky arm, with a prior $μ$, and a predictable arm, with success probability $p$. The value of $p$ where the player is indifferent between the arms is the Gittins index $g = g(μ,β) > m$, where $m$ is the mean of the risky arm. We show that competing players explore less than a single player: there is $p^* \in (m, g)$ so that for all $p > p^*$, the players stay at the predictable arm. However, the players are not myopic: they still explore for some $p > m$. On the other hand, cooperating players explore more than a single player. We also show that neutral players learn from each other, receiving strictly higher total rewards than they would playing alone, for all $ p\in (p^*, g)$, where $p^*$ is the threshold from the competing case. Finally, we show that competing and neutral players eventually settle on the same arm in every Nash equilibrium, while this can fail for cooperating players.

研究动机与目标

• 理解合作与竞争如何影响多人随机赌博机博弈中的探索-利用权衡。
• 解决一个长期悬而未决的开放问题：在纳什均衡中，玩家是否最终会稳定在同一只臂上，尤其是在竞争和中立情境下。
• 量化信息的价值及其在零和博弈与合作博弈中对探索行为的影响。
• 比较不同合作参数 𝜆 ∈ [−1, 1] 下的均衡行为与长期收益。
• 探究中立和竞争玩家是否能相互学习，并在均衡中实现高于单独行动的收益。

提出的方法

• 构建一个两人、两臂的赌博机博弈模型，其中包含一支已知的可预测臂（成功概率为 𝑝）和一支具有先验分布 𝜇 的风险臂。
• 引入合作参数 𝜆 ∈ [−1, 1] 定义玩家收益为 𝑢𝑖 = Γ𝑖 + 𝜆Γ𝑗，从而在零和博弈（𝜆 = −1）、中立博弈（𝜆 = 0）和完全合作博弈（𝜆 = 1）之间插值。
• 在有限时域和折扣无限时域两种设定下分析纳什均衡，重点关注长期行为与均衡协调性。
• 应用吉廷斯指数理论，推导出单个玩家对两臂无差异的阈值 𝑔(𝜇, 𝛽)。
• 采用对期望收益与净收益的上界估计技术，分析玩家在 𝛽 → 1 的极限下何时选择探索或停留不动。
• 通过策略构造与收益比较（例如，鲍勃复制爱丽丝过去的动作）推导净收益的下界，并推断均衡行为。

实验结果

研究问题

• RQ1 在所有纳什均衡中，竞争和中立玩家是否最终总会稳定在同一只臂上？
• RQ2 与单人赌博机设定相比，零和博弈中的探索行为是否更少？
• RQ3 中立玩家是否能通过相互学习，实现在均衡中严格高于单独行动的收益？
• RQ4 即使在均衡中，合作玩家是否仍可能无法稳定在单一臂上？
• RQ5 阈值 𝑝∗ 与 𝑒𝑝 如何与吉廷斯指数 𝑔 相关联？它们在 𝛽 和 𝜆 上是否单调？

主要发现

• 在所有纳什均衡中，竞争和中立玩家最终会协调到同一支臂上，即使该臂并非最优，而合作玩家则无法实现这种协调。
• 竞争玩家的探索行为少于单个玩家：存在 𝑝∗ ∈ (𝑚, 𝑔)，使得对所有 𝑝 > 𝑝∗，玩家在所有均衡中均停留在可预测臂上。
• 尽管探索减少，竞争玩家在所有 𝑝 > 𝑚 的情况下仍会进行探索，表明其并非短视行为。
• 合作玩家（𝜆 = 1）的探索行为多于单个玩家，且其探索程度相对于单智能体最优解有所增加。
• 中立玩家通过相互学习：在每个完美贝叶斯均衡中，每个玩家的期望总收益严格高于单独行动时的收益，对所有 𝑝 ∈ (𝑝∗, 𝑔) 成立。
• 当 𝑝 < 5/9 时，竞争玩家在某些均衡中会探索风险臂；当 𝑝 > 2 − √2 ≈ 0.586 时，他们不会在任何均衡中探索风险臂。