[论文解读] Smoothing Method for Approximate Extensive-Form Perfect Equilibrium

Christian Kroer, Gabriele Farina+1 more|arXiv (Cornell University)|May 25, 2017

Artificial Intelligence in Games参考文献 19被引用 5

一句话总结

本文提出一种平滑方法，利用一阶方法（FOMs）在大规模两人零和广义形式博弈中计算近似广义形式完美均衡（EFPE）。通过采用改进的基于熵的平滑技术对行为策略进行扰动，该方法在保持标准纳什均衡求解器收敛速度的同时，显著降低了低概率信息集的遗憾值，从而在非均衡路径上实现更强的性能。

ABSTRACT

Nash equilibrium is a popular solution concept for solving imperfect-information games in practice. However, it has a major drawback: it does not preclude suboptimal play in branches of the game tree that are not reached in equilibrium. Equilibrium refinements can mend this issue, but have experienced little practical adoption. This is largely due to a lack of scalable algorithms. Sparse iterative methods, in particular first-order methods, are known to be among the most effective algorithms for computing Nash equilibria in large-scale two-player zero-sum extensive-form games. In this paper, we provide, to our knowledge, the first extension of these methods to equilibrium refinements. We develop a smoothing approach for behavioral perturbations of the convex polytope that encompasses the strategy spaces of players in an extensive-form game. This enables one to compute an approximate variant of extensive-form perfect equilibria. Experiments show that our smoothing approach leads to solutions with dramatically stronger strategies at information sets that are reached with low probability in approximate Nash equilibria, while retaining the overall convergence rate associated with fast algorithms for Nash equilibrium. This has benefits both in approximate equilibrium finding (such approximation is necessary in practice in large games) where some probabilities are low while possibly heading toward zero in the limit, and exact equilibrium computation where the low probabilities are actually zero.

研究动机与目标

• 为解决广义形式博弈中纳什均衡的局限性，即策略在博弈树未达部分表现不佳的问题。
• 将此前仅用于纳什均衡求解的可扩展一阶方法（FOMs）扩展至计算均衡精化，如广义形式完美均衡（EFPE）。
• 开发一种平滑技术，实现在大规模博弈中高效计算近似EFPE，同时保持标准FOMs的收敛速度。
• 通过实验验证，该方法在不牺牲整体收敛速度的前提下，显著降低了低概率信息集的最大遗憾值。

提出的方法

• 引入参数ξ对行为策略空间进行扰动，确保所有动作至少以概率ξ被执行，从而避免零概率问题。
• 将基于扩张熵函数的平滑框架适配至扰动后的行为策略多面体，实现可微优化。
• 在平滑且扰动后的博弈中应用一阶方法（如EGT），保持标准FOMs的线性时间迭代成本与收敛速度。
• 采用动态平滑技术，使ξ可调，以平衡精化质量与收敛速度。
• 基于贝叶斯规则假设每个信息集均以概率1被访问，计算信息集的遗憾值，从而评估精化质量。
• 复用现有EFG（广义形式博弈）中的DGF（对偶梯度流）构造，并将其扩展至处理ξ > 0时的扰动策略空间。

实验结果

研究问题

• RQ1 一阶方法能否有效扩展至大规模博弈中计算近似广义形式完美均衡？
• RQ2 通过ξ引入的行为策略扰动如何影响一阶方法在广义形式博弈中的收敛速度？
• RQ3 与标准纳什均衡求解器相比，所提方法在多大程度上降低了低概率信息集的最大遗憾值？
• RQ4 在实践中，ξ的最优范围是什么，可实现精化质量与收敛速度的平衡？
• RQ5 该方法能否在性能接近最先进纳什均衡求解器的同时，提升非均衡区域的鲁棒性，从而用于计算近似EFPE？

主要发现

• 所提方法在收敛速度上与标准一阶方法计算纳什均衡相当，实际性能无显著损失。
• 当ξ ∈ [0.005, 0.01]时，方法在低概率信息集上的最大遗憾值显著低于CFR+或未扰动的EGT。
• 在低概率到达的信息集上，最大遗憾值相比标准方法降低达两个数量级。
• 扰动参数ξ具有关键影响：ξ = 0.1或0.05导致遗憾过高，因强制执行过多；而ξ = 0.001收敛过慢。
• 该方法在不降低整体收敛速度的前提下，显著提升了低概率区域的性能，适用于大规模博弈的近似均衡计算。
• 该方法为在精确计算不可行的大规模博弈中计算精化均衡提供了实用路径。