[论文解读] Multiplayer Multi-armed Bandits for Optimal Assignment in Heterogeneous Networks

Harshvardhan Tibrewal, Sravan Patchala+2 more|arXiv (Cornell University)|Jan 12, 2019

Advanced Bandit Algorithms Research参考文献 22被引用 7

一句话总结

本文提出了一种用于异构网络中分布式多玩家多臂老虎机算法，以实现最优分配，其中玩家在相同动作上体验不同的奖励，且无法直接通信。通过使用探索-承诺和探索-信号-利用（ESE）框架，并利用传输模式进行信号传递，该算法实现了对数 regret 的近似最优分配，且概率较高，实验结果优于最先进的方法如 CSM-MAB 和 dE³。

ABSTRACT

We consider an ad hoc network where multiple users access the same set of channels. The channel characteristics are unknown and could be different for each user (heterogeneous). No controller is available to coordinate channel selections by the users, and if multiple users select the same channel, they collide and none of them receive any rate (or reward). For such a completely decentralized network we develop algorithms that aim to achieve optimal network throughput. Due to lack of any direct communication between the users, we allow each user to exchange information by transmitting in a specific pattern and sense such transmissions from others. However, such transmissions and sensing for information exchange do not add to network throughput. For the wideband sensing and narrowband sensing scenarios, we first develop explore-and-commit algorithms that converge to near-optimal allocation with high probability in a small number of rounds. Building on this, we develop an algorithm that gives logarithmic regret, even when the number of users changes with time. We validate our claims through extensive experiments and show that our algorithms perform significantly better than the state-of-the-art CSM-MAB, dE3 and dE3-TS algorithms.

研究动机与目标

• 解决在无中心协调的多玩家多臂老虎机中实现去中心化最优分配的问题。
• 使玩家能够学习各自动作的奖励，并通过信号传递协调，避免碰撞并最大化网络总奖励。
• 在完全去中心化的设置下，实现高概率的近似最优分配，且 regret 为次线性（对数）级别。
• 将框架扩展至玩家可加入或离开的动态环境。
• 开发鲁棒的信号传递机制，实现在不降低网络奖励的前提下交换信息。

提出的方法

• 使用探索-承诺策略，在有限时间内以高概率收敛至近似最优分配。
• 引入探索-信号-利用（ESE）算法，采用分阶段结构，结合探索、信号传递和利用阶段。
• 采用伯努利或分组信号传递方式，通过传输模式在玩家之间交换估计奖励。
• 应用霍夫丁不等式，对探索和信号传递阶段的估计误差进行边界控制。
• 采用两阶段信号传递方案：共享听觉（SH）用于本地估计，广播信号（BS）用于全局信息交换。
• 在所有玩家之间构建一个共同的估计奖励矩阵，以确保最优分配计算的一致性。

实验结果

研究问题

• RQ1 在奖励对玩家异构且无直接通信的情况下，去中心化的多玩家老虎机系统能否实现近似最优分配？
• RQ2 玩家如何在无直接通信的情况下协调，以避免碰撞并最大化总奖励？
• RQ3 何种信号机制可实现准确、低开销的信息交换，且不降低网络奖励？
• RQ4 在完全去中心化设置下，面对未知的异构奖励，系统能否实现对数 regret？
• RQ5 该算法如何适应玩家可加入或退出的动态环境？

主要发现

• DOA-WS 策略在 $T_r + K T_s + K T_b$ 轮后以高概率 $1 - \delta$ 达到 $(\epsilon, \delta)$-最优性。
• ESE 算法通过在递增的周期大小下结合探索、信号传递和利用，实现近似对数 regret。
• ESE1 变体通过优化信号传递和探索阶段，实现了最优的对数 regret 边界。
• 该算法保证估计奖励矩阵 $\hat{M}$ 满足 $|\hat{M} - M| \leq \epsilon I / (2N)$，以高概率确保近似最优分配。
• 大量实验表明，所提算法显著优于最先进的方法，如 CSM-MAB、dE³ 和 dE³-TS。
• 分组信号传递相比伯努利信号传递减少了信息交换的时间槽，尽管其更易出错。