[论文解读] Stable-Predictive Optimistic Counterfactual Regret Minimization

Gabriele Farina, Christian Kroer+2 more|arXiv (Cornell University)|Feb 13, 2019

Advanced Bandit Algorithms Research被引用 10

一句话总结

本文提出了一种新型的CFR变体，通过将稳定预测性乐观后悔最小化整合到反事实后悔最小化框架中，实现了$O(T^{-3/4})$的收敛速率。通过仔细校准局部后悔最小化器相对于其在决策树中位置的稳定性，并利用OFTRL更新，该方法打破了传统CFR的$O(T^{-1/2})$收敛障碍，同时保持了理论保证，并在某些子游戏中表现出优于原始CFR的性能。

ABSTRACT

The CFR framework has been a powerful tool for solving large-scale extensive-form games in practice. However, the theoretical rate at which past CFR-based algorithms converge to the Nash equilibrium is on the order of $O(T^{-1/2})$, where $T$ is the number of iterations. In contrast, first-order methods can be used to achieve a $O(T^{-1})$ dependence on iterations, yet these methods have been less successful in practice. In this work we present the first CFR variant that breaks the square-root dependence on iterations. By combining and extending recent advances on predictive and stable regret minimizers for the matrix-game setting we show that it is possible to leverage "optimistic" regret minimizers to achieve a $O(T^{-3/4})$ convergence rate within CFR. This is achieved by introducing a new notion of stable-predictivity, and by setting the stability of each counterfactual regret minimizer relative to its location in the decision tree. Experiments show that this method is faster than the original CFR algorithm, although not as fast as newer variants, in spite of their worst-case $O(T^{-1/2})$ dependence on iterations.

研究动机与目标

• 为解决CFR算法的理论局限性，尽管实际表现成功，但其收敛速率仅为$O(T^{-1/2})$。
• 弥合一阶方法的理论收敛速率（$O(T^{-1})$）与实际CFR变体的收敛速率（$O(T^{-1/2})$）之间的差距。
• 开发一种CFR变体，其收敛速率快于$O(T^{-1/2})$，同时保持实用性与稳定性。
• 形式化并应用稳定可预测性概念于广义形式博弈的上下文中，以改进后悔最小化。

提出的方法

• 提出了一种专为广义形式博弈中反事实后悔最小化器设计的稳定可预测性新概念。
• 在每个信息集部署乐观跟随正则化领导者（OFTRL）后悔最小化器，并根据其在决策树中的深度设置稳定性参数。
• 将矩阵博弈设置中的预测性与稳定性后悔最小化技术扩展至EFG中的序列决策问题。
• 采用对偶范数框架，结合熵正则化，并通过理论分析指导步长选择。
• 采用同步与交替更新策略，以评估不同子游戏中的实际性能表现。
• 在较大的子游戏中，对步长参数进行经验校准，因为理论设置过于保守。

实验结果

研究问题

• RQ1 能否设计一种CFR变体，实现快于$O(T^{-1/2})$的收敛速率，同时保持理论稳定性与可预测性？
• RQ2 如何将矩阵博弈中乐观后悔最小化的原理扩展至广义形式博弈的分层结构中？
• RQ3 信息集在决策树中的深度在多大程度上决定了其局部后悔最小化器所需的稳定性？
• RQ4 将稳定可预测性后悔最小化器集成后，是否能在实际EFG子游戏中带来可测量的性能提升，超越原始CFR？
• RQ5 为何某些理论收敛速率为$O(T^{-1})$的方法在实践中表现不佳，尽管其理论收敛速度更优？

主要发现

• 所提出的基于OFTRL的CFR变体在理论上实现了$O(T^{-3/4})$的收敛速率，打破了传统CFR的$O(T^{-1/2})$障碍。
• 在较小的子游戏（3和4）中，理论指导的步长设置带来了比原始CFR更快的收敛速度，且OFTRL从一开始就优于CFR（子游戏4）。
• 在较大的子游戏（1和2）中，理论上最优的步长过于保守，但通过手动调优（缩小100倍）后，性能显著优于CFR。
• 在交替更新设置中，OFTRL的表现劣于CFR和DCFR，表明其对更新策略敏感。
• 折扣CFR（DCFR）在所有设置中均优于所有变体，包括理论和调优后的OFTRL，证实了其在实践中占据主导地位，尽管其最坏情况收敛速率仍为$O(T^{-1/2})$。
• 结果表明，通过乐观后悔最小化，CFR的理论收敛加速是可行的，但实际性能在很大程度上取决于步长调优与更新策略。