[论文解读] TStarBot-X: An Open-Sourced and Comprehensive Study for Efficient League Training in StarCraft II Full Game

Lei Han, Jiechao Xiong+9 more|arXiv (Cornell University)|Nov 27, 2020

Artificial Intelligence in Games参考文献 28被引用 24

一句话总结

TStarBot-X 是一款计算效率高的开源 StarCraft II 人工智能代理，通过采用规则引导的策略搜索、稳定化的策略改进、轻量级神经网络架构以及模仿学习中的重要性采样等创新技术，在仅使用 2000 万参数的情况下，实现了在 Zerg 对 Zerg 战斗中的竞争性表现，显著低于 AlphaStar 的参数量。尽管计算资源有限，它在评估中仍击败了专家人类玩家，表明战略多样性与高效训练可弥补规模上的不足。

ABSTRACT

StarCraft, one of the most difficult esport games with long-standing history of professional tournaments, has attracted generations of players and fans, and also, intense attentions in artificial intelligence research. Recently, Google's DeepMind announced AlphaStar, a grandmaster level AI in StarCraft II that can play with humans using comparable action space and operations. In this paper, we introduce a new AI agent, named TStarBot-X, that is trained under orders of less computations and can play competitively with expert human players. TStarBot-X takes advantage of important techniques introduced in AlphaStar, and also benefits from substantial innovations including new league training methods, novel multi-agent roles, rule-guided policy search, stabilized policy improvement, lightweight neural network architecture, and importance sampling in imitation learning, etc. We show that with orders of less computation scale, a faithful reimplementation of AlphaStar's methods can not succeed and the proposed techniques are necessary to ensure TStarBot-X's competitive performance. We reveal all technical details that are complementary to those mentioned in AlphaStar, showing the most sensitive parts in league training, reinforcement learning and imitation learning that affect the performance of the agents. Most importantly, this is an open-sourced study that all codes and resources (including the trained model parameters) are publicly accessible via \url{https://github.com/tencent-ailab/tleague_projpage}. We expect this study could be beneficial for both academic and industrial future research in solving complex problems like StarCraft, and also, might provide a sparring partner for all StarCraft II players and other AI agents.

研究动机与目标

• 开发一款计算高效、开源的 StarCraft II 人工智能代理，在计算资源受限的情况下仍能与专家人类玩家竞争。
• 探究 AlphaStar 中的关键技术在计算受限条件下是否可被适配并改进，特别是在联赛训练与模仿学习方面。
• 揭示多智能体强化学习与模仿学习中影响智能体性能的关键技术组件。
• 提供一个公开可访问的框架，包含完整的代码、模型与训练资源，以加速复杂序列决策与多智能体系统领域的未来研究。

提出的方法

• 采用仅含 2000 万参数（策略部分 1725 万，价值网络额外 275 万）的轻量级神经网络，与 AlphaStar 的 1.39 亿参数相比，显著减小了模型规模。
• 在模仿学习中使用重要性采样，相较于朴素行为克隆方法性能更优，使对 Elite-bot（难度等级 7）的胜率从 68% 提升至 90%。
• 引入规则引导的策略搜索，将人类知识嵌入策略网络，降低在高维动作空间中昂贵探索的依赖。
• 设计了一个包含不同角色（主智能体、攻击者与新引入的“反攻击者”角色）的多样化多智能体联赛，以增强战略多样性并防止策略崩溃。
• 应用偏差增强的策略优化方法，以稳定策略改进过程，避免训练期间性能下降。
• 在腾讯云上部署了完整的训练流水线，数据处理速度仅为 AlphaStar 的 1/30，数据生成速度仅为 1/73，但仍取得了具有竞争力的结果。

实验结果

研究问题

• RQ1 在无法使用 AlphaStar 级别基础设施的条件下，轻量级、低计算量的人工智能代理是否能在 StarCraft II 的 Zerg 对 Zerg 战斗中实现与人类水平相当的性能？
• RQ2 在计算资源受限的训练条件下，模仿学习中的重要性采样与规则引导的策略搜索等技术对性能有何影响？
• RQ3 通过不同角色设计实现的联赛战略多样性，在提升策略鲁棒性与泛化能力方面起到何种作用？
• RQ4 在模型容量与训练数据吞吐量受限的情况下，稳定化策略优化与轻量级架构能在多大程度上弥补性能短板？
• RQ5 联赛训练与模仿学习中的技术选择，如何影响最终智能体与专家人类玩家竞争的能力？

主要发现

• 通过使用重要性采样的监督式模仿学习，TStarBot-X 对内置的 Elite-bot（等级 7）实现了 90% 的胜率，而未使用该技术时仅为 68%。
• 该智能体的平均 APM/EPM 为 232/196，峰值达到 609/519，表明其在参数量较低的情况下仍具备类人水平的反应速度与操作效率。
• 使用规则引导的策略搜索显著减少了对大规模探索的需求，提升了样本效率与策略稳定性。
• 在联赛中引入“反攻击者”智能体，增强了战略多样性并有效防止了过拟合，尤其在单策略训练中表现突出。
• 尽管数据处理速度仅为 AlphaStar 的 1/30，数据生成速度仅为 1/73，TStarBot-X 仍通过架构与算法创新实现了具有竞争力的性能表现。
• 开源发布完整代码、模型与训练资源，为迁移学习、多智能体系统以及复杂环境控制等领域的未来研究提供了有力支持。