[论文解读] New Algorithms for Multiplayer Bandits when Arm Means Vary Among Players

Emilie Kaufmann, Abbas Mehrabian|arXiv (Cornell University)|Feb 4, 2019

Advanced Bandit Algorithms Research被引用 3

一句话总结

该论文提出了一种新颖的算法，用于多人随机多臂赌博机问题，其中每个玩家的臂均值不同且存在碰撞惩罚，一般情况下实现 $O((\log T)^{1+\kappa})$ 的期望遗憾，当存在唯一最优分配时实现 $O(\log T)$ 遗憾。该方法利用去中心化学习，结合动态探索与碰撞避免策略，在通信受限条件下最小化遗憾。

ABSTRACT

We study multiplayer stochastic multi-armed bandit problems in which the players cannot communicate, and if two or more players pull the same arm, a collision occurs and the involved players receive zero reward. Moreover, we assume each arm has a different mean for each player. Let $T$ denote the number of rounds. An algorithm with regret $O((\log T)^{2+\kappa})$ for any constant $\kappa$ was recently presented by Bistritz and Leshem (NeurIPS 2018), who left the existence of an algorithm with $O(\log T)$ regret as an open question. In this paper, we provide an affirmative answer to this question in the case when there is a unique optimal assignment of players to arms. For the general case we present an algorithm with expected regret $O((\log T)^{1+\kappa})$, for any $\kappa>0$.

研究动机与目标

• 解决 Bistritz 和 Leshem 提出的开放问题：在具有玩家特定臂均值的多人赌博机中，$O(\log T)$ 遗憾是否可实现？
• 设计一种去中心化算法，在玩家无法通信且碰撞导致零奖励的条件下最小化遗憾。
• 处理多个最优分配可能存在的通用情况，确保遗憾增长为次多项式。

提出的方法

• 该算法采用去中心化学习框架，每位玩家根据估计的均值和探索奖励独立选择臂。
• 引入一种动态探索策略，可自适应地调整玩家数量以及各玩家之间臂均值的方差。
• 集成碰撞检测与避免机制，使玩家在发生冲突时能够调整其选择。
• 遗憾分析依赖于集中不等式以及对碰撞次数的界，利用玩家特定均值的结构特性。
• 采用分阶段探索调度，以在探索与利用之间取得平衡，同时最小化干扰。
• 证明了在存在唯一最优分配的情况下，总遗憾随时间 $T$ 对数增长。

实验结果

研究问题

• RQ1 在无通信条件下，能否设计出在具有玩家特定臂均值的多人赌博机中实现 $O(\log T)$ 遗憾的算法？
• RQ2 在存在多个最优分配的通用情况下，最小可能的遗憾是多少？
• RQ3 在碰撞导致零奖励的条件下，玩家如何在无协调的情况下高效学习其最优臂？
• RQ4 为实现对数遗憾，对臂均值需要哪些结构假设？
• RQ5 该算法的性能如何随玩家数和臂数变化？

主要发现

• 该论文证明了当存在唯一最优玩家-臂分配时，$O(\log T)$ 遗憾是可实现的。
• 在存在多个最优分配的通用情况下，该算法实现了 $O((\log T)^{1+\kappa})$ 的期望遗憾，优于先前的 $O((\log T)^{2+\kappa})$ 上界。
• 遗憾界是在臂均值在不同玩家之间存在差异的假设下推导得出的，这使得即使缺乏通信，也能实现个性化学习。
• 该算法通过自适应探索与去中心化决策成功避免了碰撞。
• 分析表明，碰撞次数是受限制的，并且随着玩家逐渐学习到其最优臂，碰撞次数随时间减少。
• 该研究通过证明在唯一最优分配情况下对数遗憾的可行性，解决了 Bistritz 和 Leshem（NeurIPS 2018）提出的开放问题。