[论文解读] Online Double Oracle

Le Cong Dinh, Yaodong Yang+7 more|arXiv (Cornell University)|Mar 13, 2021

Advanced Bandit Algorithms Research参考文献 3被引用 4

一句话总结

本文提出在线双奥德赛（ODO）算法，该算法结合在线学习与双奥德赛方法，以解决大规模双人零和标准型博弈问题。通过利用无遗憾学习与动态策略池扩展，ODO 实现了 $\mathcal{O}(\sqrt{Tk\log(k)})$ 的遗憾界，其中 $k$ 取决于纳什均衡的策略支撑大小而非完整动作空间，从而实现高效收敛并有效针对对手进行策略性利用——在收敛速度与真实博弈中的收益表现上优于 DO、PSRO 和 MWU。

ABSTRACT

Solving strategic games with huge action space is a critical yet under-explored topic in economics, operations research and artificial intelligence. This paper proposes new learning algorithms for solving two-player zero-sum normal-form games where the number of pure strategies is prohibitively large. Specifically, we combine no-regret analysis from online learning with Double Oracle (DO) methods from game theory. Our method -- \emph{Online Double Oracle (ODO)} -- is provably convergent to a Nash equilibrium (NE). Most importantly, unlike normal DO methods, ODO is \emph{rationale} in the sense that each agent in ODO can exploit strategic adversary with a regret bound of $\mathcal{O}(\sqrt{T k \log(k)})$ where $k$ is not the total number of pure strategies, but rather the size of \emph{effective strategy set} that is linearly dependent on the support size of the NE. On tens of different real-world games, ODO outperforms DO, PSRO methods, and no-regret algorithms such as Multiplicative Weight Update by a significant margin, both in terms of convergence rate to a NE and average payoff against strategic adversaries.

研究动机与目标

• 解决动作空间过大而难以处理的双人零和标准型博弈问题。
• 开发一种可扩展的算法，在避免依赖完整博弈规模的同时保持理性（无遗憾）特性。
• 在对弈过程中实现对对手的策略性利用，这与传统双奥德赛方法不同。
• 实现更快收敛至纳什均衡，并在面对策略性对手时获得更高平均收益。
• 减少对完整博弈矩阵知识的依赖，并最小化昂贵的最佳响应预言机调用次数。

提出的方法

• ODO 将无遗憾在线学习与双奥德赛框架相结合，使用遗憾最小化策略而非固定的最佳响应预言机。
• 在每次迭代中，算法使用策略池计算一个 $\epsilon$-最佳响应，并将其添加到玩家的活跃策略集合中。
• 通过在线学习分析推导出遗憾界，其规模取决于 $k$（即纳什均衡的支撑大小），而非 $n$（即纯策略总数）。
• ODO 使用动态策略池，实现逐步增长，确保在弱假设下收敛至纳什均衡。
• 该方法避免访问完整博弈矩阵，仅依赖子博弈中最佳响应的预言机查询。
• 支持自对弈与对手利用两种设置，并通过可利用性与平均收益等指标评估性能。

实验结果

研究问题

• RQ1 双奥德赛风格的算法能否在大规模动作零和博弈中实现无遗憾学习？
• RQ2 ODO 的遗憾界是否随纳什均衡的支撑大小而非完整动作空间而缩放？
• RQ3 ODO 是否能在收敛速度与面对策略性对手时的收益上优于标准无遗憾算法（如 MWU 和 DO）？
• RQ4 在具有复杂策略结构的真实博弈（如德州扑克变体）中，ODO 表现如何？
• RQ5 ODO 是否能主动利用非理性或受限对手，而传统 DO 或 PSRO 方法则不具备此能力？

主要发现

• ODO 实现了 $\mathcal{O}(\sqrt{Tk\log(k)})$ 的遗憾界，其中 $k$ 为纳什均衡的支撑大小，而非纯策略总数。
• 在 15 个真实零和博弈中，ODO 收敛至纳什均衡的速度显著快于 MWU、FP、DO 和 PSRO。
• 面对 MWU 对手时，ODO 获得的平均收益高于 MWU 和 PSRO，证明其具备主动利用能力。
• 在 Leduc 和 Kuhn 扑克游戏中，ODO 的可利用性低于所有 DO 和 PSRO 基线方法，且几乎与 CFR 水平相当，同时使用更少的最佳响应预言机调用。
• 在受限对手设置下，ODO 迅速获得正向期望收益，而 PSRO 始终维持在接近常数水平，证实其具备显著的可利用优势。
• 尽管收敛性能更优，ODO 的最佳响应预言机调用次数显著低于 PSRO，且与最先进的求解器（如 CFR）相当。