[论文解读] Optimize Neural Fictitious Self-Play in Regret Minimization Thinking

Yuxuan Chen, Li Zhang+2 more|arXiv (Cornell University)|Apr 22, 2021

Artificial Intelligence in Games参考文献 20被引用 4

一句话总结

本文提出了一种增强版神经虚构自博弈（Neural Fictitious Self-Play, NFSP）方法，通过使用基于优势的遗憾最小化（Advantage-based Regret Minimization, ARM）替代其最优响应计算，该方法是一种遗憾匹配方法。通过确保最优性差距单调递减，新方法实现了更快的收敛速度，并在 OpenSpiel 中的多种完全信息与不完全信息博弈中优于原始 NFSP，展现出更优的可 exploited 性和胜率。

ABSTRACT

Optimization of deep learning algorithms to approach Nash Equilibrium remains a significant problem in imperfect information games, e.g. StarCraft and poker. Neural Fictitious Self-Play (NFSP) has provided an effective way to learn approximate Nash Equilibrium without prior domain knowledge in imperfect information games. However, optimality gap was left as an optimization problem of NFSP and by solving the problem, the performance of NFSP could be improved. In this study, focusing on the optimality gap of NFSP, we have proposed a new method replacing NFSP's best response computation with regret matching method. The new algorithm can make the optimality gap converge to zero as it iterates, thus converge faster than original NFSP. We have conduct experiments on three typical environments of perfect-information games and imperfect information games in OpenSpiel and all showed that our new algorithm performances better than original NFSP.

研究动机与目标

• 为解决神经虚构自博弈（Neural Fictitious Self-Play, NFSP）中持续存在的最优性差距问题，该问题限制了收敛速度和均衡质量。
• 探究遗憾最小化技术是否能够优化 NFSP 的最优响应计算并改善收敛行为。
• 开发一种方法，确保在训练过程中最优性差距单调递减，从而实现更快且更稳定的收敛。
• 在包括完全信息与不完全信息博弈在内的多种游戏环境中评估所提方法，以证明其泛化能力和性能提升。

提出的方法

• 用基于优势的遗憾最小化（ARM）——一种遗憾匹配方法——替代 NFSP 中基于深度强化学习的最优响应计算。
• 应用遗憾匹配方法，通过迭代最小化动作的遗憾，确保每次更新后最优性差距单调递减。
• 保持 NFSP 的双流架构：一条流用于策略平均（如虚构博弈），另一条流通过 ARM 进行最优响应计算。
• 将对手的平均策略作为输入，以计算最小遗憾的最优响应，从而在每次迭代中提升策略质量。
• 将 ARM 集成到 NFSP 框架中，构建一种结合 FSP 与遗憾最小化优势的混合自博弈算法。
• 通过遗憾匹配实现最优性差距的单调衰减，理论上保证收敛至纳什均衡。

实验结果

研究问题

• RQ1 遗憾最小化技术能否减少 NFSP 最优响应计算中的最优性差距？
• RQ2 用遗憾匹配方法替代 NFSP 的最优响应是否能实现自博弈训练中的更快收敛？
• RQ3 所提方法在完全信息与不完全信息博弈中是否能实现比原始 NFSP 更优的可 exploited 性和胜率？
• RQ4 在 NFSP 中使用 ARM 时，最优性差距的单调衰减是否在实践中可实现且具有优势？
• RQ5 该新方法在不同游戏环境中（包括存在先手优势的游戏）与 NFSP 相比表现如何？

主要发现

• 所提方法在所有测试环境中均优于原始 NFSP，表现出更优的可 exploited 性、更快且更稳定的收敛速度，包括井字棋和其他 OpenSpiel 游戏。
• 在井字棋中，作为先手玩家时胜率为 83.7%，作为后手玩家时胜率为 67.4%（平局占比 30.9%），显著优于 NFSP。
• 作为先手玩家时，平均奖励达到 0.80；作为后手玩家时达到 0.658，即使在不利位置也表现出强劲性能。
• 学习曲线显示，无论先手或后手位置，新方法的收敛速度均快于 NFSP，且具有更高的稳定性和奖励提升。
• 实证结果表明，最优性差距在迭代过程中单调衰减，验证了理论上的收敛行为改进。
• 该方法在所有三个测试环境中均表现出一致的性能提升，证实了将遗憾最小化整合进 NFSP 框架的有效性。