[论文解读] OpenHoldem: An Open Toolkit for Large-Scale Imperfect-Information Game Research.

Kai Li, Hang Xu+5 more|arXiv (Cornell University)|Dec 11, 2020

Artificial Intelligence in Games参考文献 31被引用 6

一句话总结

OpenHoldem 是一个开源工具包，旨在为大规模不完美信息博弈研究，特别是无注额德州扑克（NLTH）提供标准化支持。它提供统一的评估协议、三个强大的公开基线，以及一个基于在线 API 的测试平台，以加速 NLTH 研究中的人工智能开发与基准测试。

ABSTRACT

Owning to the unremitting efforts by a few institutes, significant progress has recently been made in designing superhuman AIs in No-limit Texas Hold'em (NLTH), the primary testbed for large-scale imperfect-information game research. However, it remains challenging for new researchers to study this problem since there are no standard benchmarks for comparing with existing methods, which seriously hinders further developments in this research area. In this work, we present OpenHoldem, an integrated toolkit for large-scale imperfect-information game research using NLTH. OpenHoldem makes three main contributions to this research direction: 1) a standardized evaluation protocol for thoroughly evaluating different NLTH AIs, 2) three publicly available strong baselines for NLTH AI, and 3) an online testing platform with easy-to-use APIs for public NLTH AI evaluation. We have released OpenHoldem at this http URL, hoping it facilitates further studies on the unsolved theoretical and computational issues in this area and cultivate crucial research problems like opponent modeling, large-scale equilibrium-finding, and human-computer interactive learning.

研究动机与目标

• 解决缺乏用于评估无注额德州扑克（NLTH）人工智能代理的标准化基准的问题，该问题阻碍了大规模不完美信息博弈研究的进展。
• 提供一致且可复现的评估协议，以公平比较不同的 NLTH 人工智能方法。
• 提供三个公开可用的强基线，作为新研究的性能参考。
• 通过一个具有可访问 API 的在线测试平台，实现 NLTH 人工智能的快速原型设计与公开评估，加速开发与迭代。
• 促进在对手建模、大规模均衡计算以及人机交互学习等关键挑战方面的研究。

提出的方法

• 设计一个标准化的评估协议，使在不同游戏条件下对 NLTH 人工智能代理进行彻底且可复现的基准测试成为可能。
• 实现三个强大且公开可用的 NLTH 人工智能基线，代表当前最先进性能，作为参考基准。
• 开发一个具有详细文档的在线测试平台，支持通过 API 使研究人员能够远程且高效地提交和评估其人工智能代理。
• 将评估流程与常见游戏指标（如筹码效用和可被利用性）集成，以确保全面的性能评估。
• 通过支持人工智能代理的标准输入/输出格式，确保与现有研究框架的兼容性。
• 在专用网址公开托管该工具包，以促进开放获取、可复现性以及社区驱动的研究进步。

实验结果

研究问题

• RQ1 如何建立一个标准化的评估框架，以公平且可复现的方式比较不同的无注额德州扑克人工智能代理？
• RQ2 哪些有效的公开基线可以作为新 NLTH 人工智能研究的强参考点？
• RQ3 基于在线 API 的平台在提升 NLTH 人工智能开发的可访问性以及加速评估与迭代周期方面有何作用？
• RQ4 统一工具包在多大程度上能够降低新研究者在大规模不完美信息博弈研究中的入门门槛？
• RQ5 此类工具包如何促进对手建模和大规模均衡计算等核心挑战的进展？

主要发现

• OpenHoldem 提供了一个标准化的评估协议，能够对 NLTH 人工智能代理进行一致且全面的基准测试。
• 该工具包包含三个强大且公开可用的基线，可作为性能比较的高质量参考点。
• 具有可访问 API 的在线测试平台使研究人员能够远程提交和评估人工智能代理，显著降低了设置与部署的门槛。
• 通过提供统一的基础设施，OpenHoldem 加速了对手建模和大规模均衡计算等关键研究领域的发展。
• 在公开网址发布该工具包，促进了可复现性、协作以及社区驱动的 NLTH 人工智能研究创新。
• 该工具包的设计支持未来在人机交互学习方面的进展，通过提供可扩展的评估基础。