[论文解读] Robust Multi-Agent Multi-Armed Bandits

Daniel Vial, Sanjay Shakkottai+1 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Bandit Algorithms Research参考文献 34被引用 4

一句话总结

本文提出了一种鲁棒的多智能体多臂赌博机算法，通过动态阻断机制阻止推荐劣质臂的恶意智能体，确保诚实智能体在对抗性干扰下仍能保持低遗憾。理论证明：当存在 $ m $ 个恶意智能体时，遗憾被限制在 $ O((m + K/n)"log T / \Delta) $，当 $ m \ll K $ 时，该结果显著优于基线方法，且无需对恶意行为做任何假设。

ABSTRACT

Recent works have shown that agents facing independent instances of a stochastic $K$-armed bandit can collaborate to decrease regret. However, these works assume that each agent always recommends their individual best-arm estimates to other agents, which is unrealistic in envisioned applications (machine faults in distributed computing or spam in social recommendation systems). Hence, we generalize the setting to include $n$ honest and $m$ malicious agents who recommend best-arm estimates and arbitrary arms, respectively. We first show that even with a single malicious agent, existing collaboration-based algorithms fail to improve regret guarantees over a single-agent baseline. We propose a scheme where honest agents learn who is malicious and dynamically reduce communication with (i.e., "block") them. We show that collaboration indeed decreases regret for this algorithm, assuming $m$ is small compared to $K$ but without assumptions on malicious agents' behavior, thus ensuring that our algorithm is robust against any malicious recommendation strategy.

研究动机与目标

• 解决现有协作式多智能体赌博机算法在恶意智能体推荐任意臂时的脆弱性问题。
• 设计一种鲁棒算法，确保在恶意智能体行为无界或非合作的前提下，诚实智能体仍能保持低遗憾。
• 形式化说明先前算法（如 Chawla 等，2020b）在仅存在一个恶意智能体时即会失效。
• 建立与恶意智能体数量 $ m $ 和臂的数量 $ K $ 均呈良好可扩展性的理论遗憾界。

提出的方法

• 引入一种阻断机制：若某智能体推荐的臂后续表现不佳，则将其阻断（忽略）。
• 采用指数增长的阻断周期：时间 $ t $ 时的推荐将导致阻断至 $ t^2 $，随后为 $ t^4 $、$ t^8 $ 等。
• 采用动态信任机制，使诚实智能体学习避免采纳那些导致表现不佳推荐的智能体。
• 应用遗憾分解与集中不等式（通过引理5）分析在阻断机制下次优臂的拉动次数。
• 使用一系列递增的时间区间 $ A_{j_*} = \lceil j_*^\beta \rceil $ 来分析渐近行为及误差概率的收敛性。
• 利用并集界与尾概率不等式，证明次优臂的拉动比例在 $ j_* \to \infty $ 时趋于零。

实验结果

研究问题

• RQ1 现有协作式多智能体赌博机算法能否在仅有一个恶意智能体推荐任意臂的情况下，仍保持遗憾的改进？
• RQ2 诚实智能体如何检测并减轻恶意智能体推荐劣质臂的影响？
• RQ3 何种阻断策略可在恢复诚实智能体因噪声推荐造成的影响与惩罚持续恶意推荐之间取得平衡？
• RQ4 在存在 $ m $ 个恶意智能体与 $ n $ 个诚实智能体的多智能体赌博机设置中，根本的遗憾极限是什么？
• RQ5 能否设计一种鲁棒算法，实现 $ O((m + K/n)\log T / \Delta) $ 的遗憾，且无需对恶意智能体行为做任何假设？

主要发现

• Chawla 等（2020b）提出的算法在完全合作场景下表现良好，但在仅存在一个恶意智能体时即失效，遗憾达到 $ \Omega(K\log T / \Delta) $，与单智能体基线相同。
• 所提出的阻断算法确保诚实智能体的遗憾被限制在 $ O((m + K/n)"log T / \Delta) $，当 $ m \ll K $ 时，该结果优于单智能体基线。
• 阻断机制通过随时间增长的惩罚强度，有效降低了恶意智能体的影响，阻断周期按 $ t^{2^k} $ 递增。
• 实验结果表明，在 $ T = 10^5 $ 时，所提算法在合成数据集与真实数据集上的平均遗憾仅为基线（Chawla 等，2020b）的 40–60%。
• 理论分析证实，次优臂被过度拉动的概率随 $ j_* \to \infty $ 而趋于零，确保算法收敛至最优性能。
• 渐近分析表明 $ \zeta(j_*) \to (1 - 1/\sqrt{\alpha})^2 $，验证了用于证明遗憾收敛性的集中不等式。