[论文解读] When to Call Your Neighbor? Strategic Communication in Cooperative Stochastic Bandits

Udari Madhushani, Naomi Ehrich Leonard|arXiv (Cornell University)|Oct 8, 2021

Advanced Bandit Algorithms Research参考文献 23被引用 4

一句话总结

该论文提出了ComEx，一种面向协作随机多臂老虎机问题的高效通信协议，将通信量从Θ(T)降低至O(log T)，同时保持与全量通信相同的最优遗憾性能。ComEx仅战略性地传输可能涉及次优臂的探索性动作的奖励，从而在不损失群体性能的前提下最小化冗余消息。

ABSTRACT

In cooperative bandits, a framework that captures essential features of collective sequential decision making, agents can minimize group regret, and thereby improve performance, by leveraging shared information. However, sharing information can be costly, which motivates developing policies that minimize group regret while also reducing the number of messages communicated by agents. Existing cooperative bandit algorithms obtain optimal performance when agents share information with their neighbors at extit{every time step}, i.e., full communication. This requires $Θ(T)$ number of messages, where $T$ is the time horizon of the decision making process. We propose extit{ComEx}, a novel cost-effective communication protocol in which the group achieves the same order of performance as full communication while communicating only $O(\log T)$ number of messages. Our key step is developing a method to identify and only communicate the information crucial to achieving optimal performance. Further we propose novel algorithms for several benchmark cooperative bandit frameworks and show that our algorithms obtain extit{state-of-the-art} performance while consistently incurring a significantly smaller communication cost than existing algorithms.

研究动机与目标

• 在不降低群体性能的前提下，降低协作随机多臂老虎机中的通信成本。
• 识别对最小化遗憾最为关键的信息，聚焦于次优臂拉动的奖励。
• 设计一种协议，使代理仅在必要时根据探索状态进行通信。
• 将协议集成至多个基准协作老虎机框架中，并通过理论与实证验证。
• 实现显著低于现有方法的通信开销，达到最先进性能。

提出的方法

• ComEx仅在代理执行探索性动作时发送消息，探索性动作定义为选择当前非最优估计的臂。
• 协议采用延迟消息传递机制，并使用有限记忆窗口γ以丢弃过时信息。
• 代理维护臂均值和置信区间估计，通过接收邻居的消息更新本地估计。
• 该算法与UCB、基于估计的UCB以及Thompson Sampling变体集成，确保在各类框架中的兼容性。
• 消息包含代理ID、时间、动作和奖励，支持基于共识的估计，同时最小化冗余。
• 消息丢弃机制确保仅使用最新且相关数据，从而降低存储与通信开销。

实验结果

研究问题

• RQ1 我们能否在保持最优遗憾性能的同时降低协作老虎机中的通信成本？
• RQ2 在协作老虎机设置中，哪些类型的信息对最小化群体遗憾最为关键？
• RQ3 我们能否仅使用O(log T)条消息而非Θ(T)条，实现与全量通信相同的遗憾阶？
• RQ4 如何设计一种通信协议，仅选择性地传输来自探索性动作的有价值信息？
• RQ5 ComEx能否有效集成至多样化的协作老虎机框架中，并具备可证明的性能保证？

主要发现

• ComEx实现了与全量通信相同阶的群体遗憾，证明O(log T)条消息足以实现最优性能。
• ComEx的通信成本为O(log T)，相较于全量通信的Θ(T)成本有显著降低。
• 在所有基准框架中——包括去中心化与集中式设置，以及奖励共享、消息传递与估计共享机制——基于ComEx的算法在通信效率上均优于现有方法。
• 实验结果证实，基于ComEx的算法始终表现出显著更低的通信成本，同时在性能上保持或超越现有最先进基线。
• 该协议与多种老虎机算法兼容，包括UCB、基于估计的UCB和Thompson Sampling，在所有变体中均具备理论保证。
• 通过仅传输探索性拉动的奖励，ComEx避免了冗余通信，同时保持识别并避免次优臂的能力。