[论文解读] Stochastic matrix games with bandit feedback.

Brendan O’Donoghue, Tor Lattimore+1 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Bandit Algorithms Research参考文献 29被引用 4

一句话总结

本文针对具有博弈反馈的随机矩阵博弈，引入并分析了UCB和K-learning的变体，其中玩家面对未知的收益矩阵，仅能观测到带有噪声的收益。该研究建立了即使在对抗性对手下也成立的遗憾界，表明这些算法显著优于标准的bandit方法和Thompson采样，后者在此设置下会灾难性地失效。

ABSTRACT

We study a version of the classical zero-sum matrix game with unknown payoff matrix and bandit feedback, where the players only observe each others actions and a noisy payoff. This generalizes the usual matrix game, where the payoff matrix is known to the players. Despite numerous applications, this problem has received relatively little attention. Although adversarial bandit algorithms achieve low regret, they do not exploit the matrix structure and perform poorly relative to the new algorithms. The main contributions are regret analyses of variants of UCB and K-learning that hold for any opponent, e.g., even when the opponent adversarially plays the best response to the learner's mixed strategy. Along the way, we show that Thompson fails catastrophically in this setting and provide empirical comparison to existing algorithms.

研究动机与目标

• 为解决零和矩阵博弈中收益矩阵未知且仅提供bandit反馈的研究空白，其中玩家仅能观测到带有噪声的收益和动作。
• 开发能够利用博弈矩阵结构的算法，与标准的对抗性bandit方法不同。
• 提供对任意对手（包括根据学习者策略进行最优响应的对手）均成立的理论遗憾界。
• 展示Thompson采样在此设置下的失败原因，并通过实验与现有算法进行性能比较。

提出的方法

• 提出适用于bandit反馈下矩阵博弈的UCB和K-learning变体，结合收益估计与置信区间。
• 采用矩阵结构化的学习框架，学习者维护收益矩阵的估计值，并根据观测到的带噪声奖励进行更新。
• 应用置信区间技术以平衡探索与利用，确保在对抗性对手行为下仍能实现低遗憾。
• 提出一种新颖的遗憾分析方法，其在所有对手策略下均保持一致，包括最坏情况下的最优响应行为。
• 通过实验评估，将所提算法与Thompson采样及标准bandit算法进行比较。

实验结果

研究问题

• RQ1 UCB和K-learning变体是否能在收益矩阵未知且具有bandit反馈的矩阵博弈中实现低遗憾？
• RQ2 这些算法在对抗性对手（其行为为对学习者混合策略作出最优响应）下的表现如何？
• RQ3 为何Thompson采样在此类具有bandit反馈的矩阵博弈设置中会灾难性地失效？
• RQ4 在该情境下，具备结构感知能力的算法相较于通用的对抗性bandit算法，其性能优势在多大程度上体现？

主要发现

• 所提出的UCB和K-learning变体即使在对手对学习者混合策略作出最优响应时，也能实现次线性遗憾。
• 通过利用博弈的底层矩阵结构，这些算法显著优于标准的对抗性bandit算法。
• 研究结果表明，Thompson采样在此设置下会灾难性地失效，最坏情况下遗憾无界。
• 实验结果证实，所提方法的遗憾更低，收敛性优于现有算法。