[论文解读] Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions

Gabriele Farina, Christian Kroer+1 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research被引用 14

一句话总结

本文提出了一种基于扩展形式博弈的乐观后悔最小化算法，采用膨胀距离生成函数——具体为膨胀熵和膨胀欧几里得距离——实现在每个信息集上的局部、分布式更新。该文首次为膨胀欧几里得DGF提供了显式的强凸性边界，并证明了向纳什均衡的$O(T^{-1})$收敛速度，优于浅层博弈中的CFR+，即使在深层树结构中也表现出更优的后悔最小化性能。

ABSTRACT

We study the performance of optimistic regret-minimization algorithms for both minimizing regret in, and computing Nash equilibria of, zero-sum extensive-form games. In order to apply these algorithms to extensive-form games, a distance-generating function is needed. We study the use of the dilated entropy and dilated Euclidean distance functions. For the dilated Euclidean distance function we prove the first explicit bounds on the strong-convexity parameter for general treeplexes. Furthermore, we show that the use of dilated distance-generating functions enable us to decompose the mirror descent algorithm, and its optimistic variant, into local mirror descent algorithms at each information set. This decomposition mirrors the structure of the counterfactual regret minimization framework, and enables important techniques in practice, such as distributed updates and pruning of cold parts of the game tree. Our algorithms provably converge at a rate of $T^{-1}$, which is superior to prior counterfactual regret minimization algorithms. We experimentally compare to the popular algorithm CFR+, which has a theoretical convergence rate of $T^{-0.5}$ in theory, but is known to often converge at a rate of $T^{-1}$, or better, in practice. We give an example matrix game where CFR+ experimentally converges at a relatively slow rate of $T^{-0.74}$, whereas our optimistic methods converge faster than $T^{-1}$. We go on to show that our fast rate also holds in the Kuhn poker game, which is an extensive-form game. For games with deeper game trees however, we find that CFR+ is still faster. Finally we show that when the goal is minimizing regret, rather than computing a Nash equilibrium, our optimistic methods can outperform CFR+, even in deep game trees.

研究动机与目标

• 填补在大规模应用（如德州扑克）中扩展形式博弈后悔最小化理论收敛速率方面的空白。
• 通过为树形单纯形策略空间设计合适的距离生成函数（DGF），克服将在线凸优化（OCO）算法应用于扩展形式博弈的挑战。
• 通过膨胀DGF实现的结构分解，支持在博弈树中进行局部、分布式及剪枝更新。
• 实现比以往的计谋后悔最小化（CFR）方法更快的理论收敛速度（$O(T^{-1})$），后者理论收敛速率为$T^{-0.5}$。
• 证明乐观后悔最小化不仅在收敛速率上优于CFR+，而且在累积后悔方面也更优，尤其在浅层博弈中，当目标为后悔最小化而非均衡计算时。

提出的方法

• 在扩展形式博弈的序列形式策略空间上使用膨胀距离生成函数（DGF）——具体为膨胀熵和膨胀欧几里得DGF——以保持可行性并控制步长。
• 首次为一般树形单纯形上的膨胀欧几里得DGF提供显式的强凸性参数边界，从而实现理论收敛保证。
• 将乐观跟随正则化领导者（OFTRL）和乐观镜像下降（OOMD）算法分解为每个信息集上的局部更新，其结构与计谋后悔最小化（CFR）一致。
• 采用镜像下降框架并引入乐观更新，利用由膨胀DGF诱导的近端算子高效计算迭代点。
• 利用更新的局部化特性，支持分布式计算并剪枝博弈树中不活跃（冷门）的部分。
• 采用迭代点的线性平均来计算最终策略组合，与CFR+的标准做法保持一致，便于比较。

实验结果

研究问题

• RQ1 当配备合适的距离生成函数时，乐观后悔最小化算法是否能在扩展形式博弈中实现向纳什均衡的$O(T^{-1})$收敛？
• RQ2 膨胀欧几里得距离生成函数在树形单纯形上的强凸性特性为何？能否显式界定其参数边界？
• RQ3 使用膨胀DGF是否能实现局部、信息集级别的更新，从而镜像计谋后悔最小化结构，支持分布式与剪枝计算？
• RQ4 在不同博弈深度与结构下，乐观后悔最小化方法与CFR+在收敛速率和累积后悔方面有何比较？
• RQ5 CFR+的理论$T^{-0.5}$收敛速率是否紧致？还是在实际中反映的是一个松散的上界？

主要发现

• 本文首次为一般树形单纯形上的膨胀欧几里得距离生成函数提供了显式的强凸性参数边界，从而支持理论收敛保证。
• 在浅层矩阵博弈中，CFR+的收敛速率为约$T^{-0.74}$，而所提出的乐观OFTRL方法收敛快于$T^{-1}$，在浅层设置中表现出更优的实证性能。
• 在Kuhn扑克中，所提出的乐观方法实现了$O(T^{-1})$收敛至纳什均衡，达到理论速率，且在累积后悔方面优于CFR+。
• 在Leduc扑克（更深的博弈）中，尽管OFTRL在鞍点间隙方面未超越CFR+，但其累积后悔的收敛速度更快，表明在此类情境下后悔最小化是更优的评估指标。
• 在所有测试的博弈中，OFTRL的累积后悔总和始终低于CFR+，表明CFR+的理论后悔界在实践中偏松。
• 理论分析表明，鞍点间隙被$(R_1 + R_2)/T$所界定，但实证结果表明该界通常远松于实际性能，提示尽管CFR+在实践中收敛迅速，但其并非加速方法。