[论文解读] Stochastic Regret Minimization in Extensive-Form Games

Gabriele Farina, Christian Kroer+1 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Bandit Algorithms Research参考文献 35被引用 5

一句话总结

本文提出了一种用于在广义形式博弈中进行随机遗憾最小化的通用框架，通过将遗憾最小化器与梯度估计器解耦，实现了灵活且高性能的算法。该框架提供了对MCCFR的简化且更强的收敛性分析——在高概率遗憾界方面实现了指数级改进——并通过实验表明，基于FTRL和OMD的新随机变体在多个博弈中优于MCCFR。

ABSTRACT

Monte-Carlo counterfactual regret minimization (MCCFR) is the state-of-the-art algorithm for solving sequential games that are too large for full tree traversals. It works by using gradient estimates that can be computed via sampling. However, stochastic methods for sequential games have not been investigated extensively beyond MCCFR. In this paper we develop a new framework for developing stochastic regret minimization methods. This framework allows us to use any regret-minimization algorithm, coupled with any gradient estimator. The MCCFR algorithm can be analyzed as a special case of our framework, and this analysis leads to significantly-stronger theoretical on convergence, while simultaneously yielding a simplified proof. Our framework allows us to instantiate several new stochastic methods for solving sequential games. We show extensive experiments on three games, where some variants of our methods outperform MCCFR.

研究动机与目标

• 开发一种通用的、模块化的框架，用于在广义形式博弈（EFGs）中构建随机遗憾最小化算法，将遗憾最小化器与梯度估计器解耦。
• 提供对蒙特卡洛反事实遗憾最小化（MCCFR）的简化且显著更强的理论分析，改进其高概率收敛保证。
• 通过将任意梯度估计器与所提出的框架结合，实现FTRL和OMD等新随机算法在求解EFGs中的实例化。
• 通过实证评估这些新方法在多种博弈中相对于MCCFR的性能，证明其在特定场景下的潜在优越性。

提出的方法

• 该框架通过允许任意遗憾最小化算法与任意梯度估计器配对，推广了随机遗憾最小化，从而实现模块化算法设计。
• 利用鞅集中不等式（如Freedman不等式）推导遗憾的高概率界，通过引入条件方差实现更紧密的控制。
• 将MCCFR重新解释为该框架的一个特例，从而获得更简化的证明，并得到更强的遗憾界 $O(\sqrt{T\log(1/p)})$，而非先前的 $O(\sqrt{T/p})$。
• 通过在实验中应用步长调优，实现了使用随机梯度的FTRL和OMD变体的实例化。
• 该方法支持多种采样方案（如结果采样、外部采样）作为梯度估计器，不同配置下的性能均得到评估。
• 理论分析基于损失和梯度向量的有界性假设，并基于条件方差之和推导出概率性遗憾界。

实验结果

研究问题

• RQ1 能否开发一种通用框架，系统性地将任意遗憾最小化器与任意梯度估计器在EFG中结合？
• RQ2 该框架能否提供显著强于现有方法（如MCCFR）的理论收敛保证？
• RQ3 在该框架中实例化的新型随机算法（如FTRL和OMD）是否在实践中优于MCCFR？
• RQ4 这些新算法对步长选择的敏感性如何，特别是在高方差梯度估计器（如结果采样）下？
• RQ5 该框架能否扩展到标准博弈求解之外的其他EFG类问题？

主要发现

• 该框架为MCCFR提供了简化且显著更强的理论界：以概率 $1-p$，遗憾的增长为 $O(\sqrt{T\log(1/p)})$，相比先前的 $O(\sqrt{T/p})$ 界实现了指数级改进。
• 实验表明，该框架中实例化的FTRL和OMD变体在多个博弈（包括Leduc13和Search-5）中优于MCCFR，即使步长调优极少。
• 在Goofspiel和Search-5中，使用结果采样的FTRL最终超越MCCFR，表明在更优超参数选择下具有显著改进潜力。
• 在Goofspiel和Search-5中，MCCFR在结果采样下仍保持优势，表明FTRL和OMD在某些场景下对梯度方差更敏感。
• 该框架可推导出一种自适应方差的集中不等式（命题3），能适应低方差或高方差情形，优于经典的Azuma-Hoeffding界。
• 该框架可扩展至其他遗憾最小化器和梯度估计器，为EFG中基于方差控制的随机方法开辟了新的研究方向。