[论文解读] Towards Optimal Algorithms for Multi-Player Bandits without Collision Sensing Information

Wei Huang, Richard Combes+1 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Bandit Algorithms Research参考文献 17被引用 5

一句话总结

本文提出一种新颖的无碰撞感知多玩家多臂老虎机分布式算法，无需依赖最小臂奖励的先验知识，避免了遗憾随其倒数增长的问题。该算法实现了与最差臂期望奖励无关的遗憾上界，在理论和实验上均显著优于最先进方法，尤其在高维或低信噪比场景下表现突出。

ABSTRACT

We propose a novel algorithm for multi-player multi-armed bandits without collision sensing information. Our algorithm circumvents two problems shared by all state-of-the-art algorithms: it does not need as an input a lower bound on the minimal expected reward of an arm, and its performance does not scale inversely proportionally to the minimal expected reward. We prove a theoretical regret upper bound to justify these claims. We complement our theoretical results with numerical experiments, showing that the proposed algorithm outperforms state-of-the-art in practice as well.

研究动机与目标

• 解决现有多玩家老虎机算法依赖最小臂奖励下界这一实际限制。
• 消除遗憾对最差臂期望奖励的依赖，该值在认知无线电网络等现实场景中可能极小。
• 设计一种完全去中心化的算法，仅以臂的数量和时间范围为输入。
• 实现理论遗憾上界与第M个和第(M+1)个最佳臂之间的差距成正比，而非与最差臂成正比。
• 在最差臂奖励较低或玩家数量增加时，相较于SIC-MMAB2和EC-SIC，展现出更优的实验性能。

提出的方法

• 提出一种新颖的分布式过程，在无先验知识的前提下识别高奖励臂，利用置信区间探索与虚拟排名机制。
• 采用两阶段方法：第一阶段，每位玩家通过置信区间搜索识别潜在优质臂；第二阶段，玩家通过虚拟音乐椅机制分配外部排名。
• 利用基于臂选择模式的分布式计数机制，估计玩家数量并分配内部排名。
• 应用分布式探索阶段，选择M个最优臂之一，通过协调的虚拟分配避免碰撞。
• 采用置信水平参数 δ = 1/(T ln T)，以确保臂选择与估计步骤的高概率正确性。
• 将所有组件整合为单一算法，仅需输入 K（臂的数量）和 T（时间范围）

实验结果

研究问题

• RQ1 能否设计一种无需依赖臂之间最小期望奖励先验知识的多玩家老虎机算法？
• RQ2 在无碰撞的多玩家老虎机中，遗憾是否随最差臂奖励倒数增长？能否消除该依赖？
• RQ3 能否实现完全去中心化的算法，在无碰撞感知或共享随机性条件下达到近似最优遗憾？
• RQ4 在玩家数量变化或最差臂奖励较低时，该算法性能与最先进方法相比如何？
• RQ5 当最差臂奖励极小或接近零时，该算法能否保持稳定性能？

主要发现

• 所提算法的遗憾上界为 O(∑_{k>M} ln T / (μ_(M)−μ_k) + K²M ln T + KM² (ln(1/(μ_(M)−μ_(M+1))))² ln T)，与 μ_(K)（所有臂中最小奖励）无关。
• 数值实验表明，该算法在K增大或μ_(K)减小时，性能优于SIC-MMAB2和EC-SIC数个数量级。
• 当 μ_(K) = 0.001 时，SIC-MMAB2和EC-SIC无法启动探索，而所提算法仍保持一致的遗憾性能。
• 在高碰撞场景（如 M=8）中，该算法收敛更快且表现优于EC-SIC，后者因频繁碰撞而浪费时间估计M。
• 在小时间范围下，该算法可能略有落后，但随着T增大，其性能始终优于其他算法，验证了理论预测。
• 该算法对μ_(K)变化具有鲁棒性，证实遗憾不随1/μ_(K)缩放，解决了先前方法的关键局限。