[论文解读] No Weighted-Regret Learning in Adversarial Bandits with Delays

Ilai Bistritz, Zhengyuan Zhou+3 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文在对抗性多臂赌博机中引入了无加权遗憾学习，即使由于延迟导致经典遗憾为线性，FKM 和 EXP3 算法仍能确保加权时间平均分布收敛至粗相关均衡（CCE），且加权平均收敛至两人零和博弈中的纳什均衡（NE）。关键贡献是一项新颖的加倍技巧，可在延迟未知时保持最优遗憾量级，从而在延迟反馈、未知博弈的模拟中实现鲁棒的均衡近似。

ABSTRACT

Consider a scenario where a player chooses an action in each round $t$ out of $T$ rounds and observes the incurred cost after a delay of $d_{t}$ rounds. The cost functions and the delay sequence are chosen by an adversary. We show that in a non-cooperative game, the expected weighted ergodic distribution of play converges to the set of coarse correlated equilibria if players use algorithms that have "no weighted-regret" in the above scenario, even if they have linear regret due to too large delays. For a two-player zero-sum game, we show that no weighted-regret is sufficient for the weighted ergodic average of play to converge to the set of Nash equilibria. We prove that the FKM algorithm with $n$ dimensions achieves an expected regret of $O\left(nT^{\frac{3}{4}}+\sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}} ight)$ and the EXP3 algorithm with $K$ arms achieves an expected regret of $O\left(\sqrt{\log K\left(KT+D ight)} ight)$ even when $D=\sum_{t=1}^{T}d_{t}$ and $T$ are unknown. These bounds use a novel doubling trick that, under mild assumptions, provably retains the regret bound for when $D$ and $T$ are known. Using these bounds, we show that FKM and EXP3 have no weighted-regret even for $d_{t}=O\left(t\log t ight)$. Therefore, algorithms with no weighted-regret can be used to approximate a CCE of a finite or convex unknown game that can only be simulated with bandit feedback, even if the simulation involves significant delays.

研究动机与目标

• 为解决多智能体在线学习中延迟反馈的挑战，标准无遗憾算法因在大延迟下产生线性遗憾而失效。
• 建立无加权遗憾学习在非合作博弈中仍能收敛至粗相关均衡（CCE），在零和博弈中收敛至纳什均衡（NE），即使经典遗憾为线性。
• 设计一种通用的加倍技巧，可在未知时域 $T$ 和总延迟 $D$ 的情况下，保持遗憾界量级的阶数不变，适用于任何具有延迟反馈的在线学习算法。
• 证明广泛使用的 FKM 和 EXP3 算法在无界延迟（如 $d_t = O(t\log t)$）下仍能实现无加权遗憾，从而使其适用于延迟反馈下未知博弈的模拟。
• 通过引入加权遗憾作为比经典遗憾更鲁棒的性能度量，拓展在线学习在非平稳、对抗性环境下的理论基础。

提出的方法

• 在具有延迟的对抗性多臂赌博机中引入加权遗憾的概念，其中遗憾按反映延迟反馈的序列加权。
• 提出一种新颖的加倍技巧，可自适应调节算法参数（如学习率），而无需事先知晓 $T$ 和 $D$，同时保持遗憾界量级的渐近阶数。
• 分析 $n$-维空间中的 FKM 算法，推导出在延迟反馈下期望遗憾界为 $O\left(nT^{\frac{3}{4}} + \sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}}\right)$。
• 分析 $K$ 个动作的 EXP3 算法，推导出期望遗憾界为 $O\left(\sqrt{\log K\left(KT + D\right)}\right)$，其中 $D = \sum_{t=1}^T \min\{d_t, T-t+1\}$。
• 证明当权重序列与算法学习率序列一致时，FKM 和 EXP3 即使在无界延迟（如 $d_t = O(t\log t)$）下仍能实现无加权遗憾。
• 证明无加权遗憾意味着玩家策略的期望加权时间平均分布收敛至一般非合作博弈中的粗相关均衡（CCE）集合，且在两人零和博弈中收敛至纳什均衡（NE）集合，通过加权策略平均的 $L^1$ 收敛实现。

实验结果

研究问题

• RQ1 当由于延迟导致经典遗憾为线性时，无加权遗憾学习是否仍能导致非合作博弈中粗相关均衡（CCE）的收敛？
• RQ2 在延迟反馈下，无加权遗憾是否意味着在两人零和博弈中收敛至纳什均衡（NE）？
• RQ3 能否设计一种加倍技巧，使延迟在线学习中在未知 $T$ 和 $D$ 时仍能保持最优遗憾量级？
• RQ4 尽管经典遗憾为线性，FKM 和 EXP3 在无界延迟序列（如 $d_t = O(t\log t)$）下是否仍能实现无加权遗憾？
• RQ5 加权遗憾框架能否扩展至内部遗憾，以在延迟反馈设置下近似相关均衡？

主要发现

• 由于提出的加倍技巧，FKM 算法在延迟反馈下即使 $T$ 和 $D$ 未知，仍能实现 $O\left(nT^{\frac{3}{4}} + \sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}}\right)$ 的期望遗憾。
• EXP3 算法在未知 $T$ 和 $D$ 的情况下，通过加倍技巧保持遗憾界量级不变，实现 $O\left(\sqrt{\log K\left(KT + D\right)}\right)$ 的期望遗憾。
• 尽管在 $d_t = O(t\log t)$ 时经典遗憾为线性，FKM 和 EXP3 仍能通过其学习率序列作为权重实现无加权遗憾，从而实现均衡收敛。
• 当所有玩家均使用无加权遗憾算法时，策略的期望加权时间平均分布收敛至粗相关均衡（CCE）集合，即使在对抗性延迟下亦成立。
• 在两人零和博弈中，当玩家使用无加权遗憾算法时，策略的加权时间平均在 $L^1$ 范数下收敛至纳什均衡（NE）集合。
• 所提出的加倍技巧可即插即用，且可证明其在 $T$ 和 $D$ 未知时仍保持遗憾界对 $T$ 和 $D$ 的渐近依赖关系。