[论文解读] One More Step Towards Reality: Cooperative Bandits with Imperfect Communication

Udari Madhushani, Abhimanyu Dubey+2 more|arXiv (Cornell University)|Nov 24, 2021

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出RCL，一套在非完美通信环境下用于合作多臂赌博机的去中心化算法，解决了随机网络、随机延迟和对抗性污染的问题。在所有设置下均实现了近乎最优的群体遗憾边界，具备理论保证，并在真实通信环境中得到实证验证。

ABSTRACT

The cooperative bandit problem is increasingly becoming relevant due to its applications in large-scale decision-making. However, most research for this problem focuses exclusively on the setting with perfect communication, whereas in most real-world distributed settings, communication is often over stochastic networks, with arbitrary corruptions and delays. In this paper, we study cooperative bandit learning under three typical real-world communication scenarios, namely, (a) message-passing over stochastic time-varying networks, (b) instantaneous reward-sharing over a network with random delays, and (c) message-passing with adversarially corrupted rewards, including byzantine communication. For each of these environments, we propose decentralized algorithms that achieve competitive performance, along with near-optimal guarantees on the incurred group regret as well. Furthermore, in the setting with perfect communication, we present an improved delayed-update algorithm that outperforms the existing state-of-the-art on various network topologies. Finally, we present tight network-dependent minimax lower bounds on the group regret. Our proposed algorithms are straightforward to implement and obtain competitive empirical performance.

研究动机与目标

• 通过建模链路故障、随机延迟和对抗性污染等现实通信不完善因素，填补合作赌博机文献中的空白。
• 设计在不可靠通信信道下仍能保持性能和遗憾保证的去中心化算法。
• 为合作赌博机学习在非完美通信下的群体遗憾建立紧致的最小最大下界，以确立理论极限。
• 通过一种新颖的延迟更新算法，在完美通信设置下超越现有最先进方法，实现在多种网络拓扑结构下的优异性能。

提出的方法

• 针对时变随机网络提出RCL-LF，引入链路故障概率模型，并通过概率 $ p_i $ 调整消息接收，以减少奖励估计偏差。
• 针对延迟奖励共享设计RCL-SD，通过在UCB中引入延迟感知置信区间，将期望延迟 $ \bbE[\tau] $ 纳入遗憾分析。
• 针对对抗性污染提出RCL-AC，采用混合鲁棒臂消除与本地置信区间策略，将探索限制在网络中位置良好的代理之间。
• 使用依赖网络的参数，如团覆盖数 $ \bar{\chi}(G) $、支配数 $ \psi(G_\gamma) $ 和 $ \gamma $-图幂，量化算法性能与遗憾的依赖关系。
• 应用信息论工具，包括KL散度分解和链式法则，推导去中心化和无知策略下的群体遗憾最小最大下界。
• 实现模块化算法框架，其中代理基于上置信界采样动作，携带时间戳发送消息，并根据网络可靠性选择性接收消息。

实验结果

研究问题

• RQ1 在具有随机链路故障的随机时变通信网络中，合作赌博机学习如何维持低群体遗憾？
• RQ2 随机消息延迟对合作赌博机算法性能有何影响？如何以最小的遗憾开销进行缓解？
• RQ3 即使污染水平 $ \epsilon $ 未知，是否仍可在消息中存在对抗性污染的情况下实现鲁棒的赌博机学习？
• RQ4 在非完美通信下，合作赌博机问题的群体遗憾基本极限是什么？它们如何依赖于网络结构？
• RQ5 网络拓扑结构和代理位置如何影响在通信不完善条件下去中心化合作赌博机算法的性能？

主要发现

• RCL-LF实现群体遗憾为 $ \mathcal{O}\left(\left(\sum_{i=1}^{N}(1-p\cdot p_{i})+\sum_{\mathcal{C}\in\mathcal{C}}(\max_{i\leq\mathcal{C}}p_{i})\cdot p\right)\left(\sum_{k=1}^{K}\frac{\log T}{\Delta_{k}}\right)\right) $，在无通信与完美通信遗憾率之间实现平滑插值。
• RCL-SD实现遗憾为 $ \mathcal{O}\left(\bar{\chi}(G)\cdot\left(\sum_{k>1}\frac{\log T}{\Delta_{k}}\right)+\left(N\cdot\bbE[\tau]+\log T+\sqrt{N\cdot\bbE[\tau]\log T}\right)\cdot\sum_{k>1}\Delta_{k}\right) $，其形式类似于单代理延迟赌博机遗憾，但依赖于网络结构。
• RCL-AC实现遗憾为 $ \mathcal{O}\left(\psi(G_{\gamma})\cdot\sum_{k=1}^{K}\frac{\log T}{\Delta_{k}}+N\sum_{k=1}^{K}\frac{\log\log T}{\Delta_{k}}+NTK\gamma\epsilon\right) $，在未知 $ \epsilon $ 的情况下，与已知的单代理污染赌博机遗憾率一致。
• 本文建立了群体遗憾的紧致最小最大下界，表明所推导的遗憾率在每种通信场景下均为近乎最优。
• 在完美通信设置下，改进的延迟更新算法在多种网络拓扑（包括无标度网络和小世界网络）中均优于现有最先进方法。
• 理论分析证实，即使在去中心化和无知策略下，遗憾仍至少为 $ \Omega(\sqrt{\alpha^\star(G_\gamma)NT}) $，揭示了在非完美通信下学习的固有极限。