[论文解读] SIC-MMAB: Synchronisation Involves Communication in Multiplayer Multi-Armed Bandits

Étienne Boursier, Vianney Perchet|arXiv (Cornell University)|Sep 21, 2018

Advanced Bandit Algorithms Research参考文献 30被引用 15

一句话总结

本文提出SIC-MMAB，一种用于多人多臂老虎机的去中心化算法，通过有意碰撞实现玩家间的隐式通信，达到集中式算法的遗憾性能。研究证明，在同步条件下，标准的去中心化多人老虎机下界不成立，并提出一种新算法，在无感知模型下实现对数遗憾，填补了该领域关键的理论空白。

ABSTRACT

Motivated by cognitive radio networks, we consider the stochastic multiplayer multi-armed bandit problem, where several players pull arms simultaneously and collisions occur if one of them is pulled by several players at the same stage. We present a decentralized algorithm that achieves the same performance as a centralized one, contradicting the existing lower bounds for that problem. This is possible by "hacking" the standard model by constructing a communication protocol between players that deliberately enforces collisions, allowing them to share their information at a negligible cost. This motivates the introduction of a more appropriate dynamic setting without sensing, where similar communication protocols are no longer possible. However, we show that the logarithmic growth of the regret is still achievable for this model with a new algorithm.

研究动机与目标

• 解决集中式与去中心化多人多臂老虎机算法之间的性能差距。
• 通过证明现有去中心化多人老虎机下界在同步条件下不成立，挑战其有效性。
• 设计一种无需碰撞反馈或显式通信的去中心化算法，实现对数遗憾。
• 形式化一种无感知动态模型，其中通信不可能发生，并建立紧致的遗憾边界。
• 解决已知下界与实际算法性能之间存在的理论不一致问题。

提出的方法

• 通过有意碰撞引入一种新型通信协议，使玩家在无显式信号情况下共享信息。
• 采用同步初始化阶段，所有玩家同时启动，通过受控碰撞实现协调的信息交换。
• 使用音乐椅子（Musical Chairs）程序在初始阶段为玩家分配不同动作，最小化早期碰撞。
• 应用基于UCB的探索策略，并结合碰撞感知的遗憾分解，以平衡探索与利用。
• 提出一种适用于无感知模型的新算法，即使无碰撞反馈，也能实现对数遗憾。
• 证明在伯努利奖励下，自私算法中的平局打破点在理论上不可能实现，支持长期线性遗憾的猜想。

实验结果

研究问题

• RQ1 是否可利用有意碰撞在去中心化多人多臂老虎机中实现隐式通信？
• RQ2 为何现有去中心化多人多臂老虎机的下界无法反映实际算法性能？
• RQ3 在去中心化、无感知的多人多臂老虎机模型中，是否可实现对数遗憾？
• RQ4 同步对多人多臂老虎机中的通信与遗憾有何影响？
• RQ5 在无碰撞反馈条件下，能否为自私算法建立理论保证？

主要发现

• 所提出的SIC-MMAB算法实现的遗憾渐近逼近集中式下界，与既有的下界相矛盾。
• 有意碰撞可实现高效通信且成本可忽略，从而推翻了假设无此类协调的先前下界。
• 在无感知模型中，新算法实现对数遗憾，且对奖励差距呈二次依赖，达到理论极限。
• 在伯努利奖励下，自私算法中平局打破失败的概率非零且理论上持续存在，支持线性遗憾的猜想。
• 分析表明，次优动作可高概率被识别，且每条动作的探索遗憾被限制在O(M log T / Δ_k)。
• 总遗憾以高概率上界为O(log T)，主要由通信与探索成本主导。