[论文解读] TorchCraft: a Library for Machine Learning Research on Real-Time Strategy Games

Gabriel Synnaeve, Nantas Nardelli+6 more|arXiv (Cornell University)|Nov 1, 2016

Artificial Intelligence in Games参考文献 1被引用 84

一句话总结

TorchCraft 是一个库，将机器学习框架 Torch 与即时战略游戏《星际争霸：母巢之战》连接起来，实现了在实时战略游戏中端到端的强化学习与模仿学习。它提供了一个客户端-服务器接口，用于实时状态交换，支持游戏控制模式和游戏附加模式，并促进了在具有结构化状态表示和回放数据访问的复杂、部分可观测、高维环境中的研究。

ABSTRACT

We present TorchCraft, a library that enables deep learning research on Real-Time Strategy (RTS) games such as StarCraft: Brood War, by making it easier to control these games from a machine learning framework, here Torch. This white paper argues for using RTS games as a benchmark for AI research, and describes the design and components of TorchCraft.

研究动机与目标

• 解决机器学习框架与《星际争霸：母巢之战》等即时战略游戏之间缺乏可访问、可扩展接口的问题。
• 使研究人员能够在高维、部分可观测且结构复杂的游戏中，使用深度强化学习和模仿学习训练智能体。
• 提供一种标准化、高效且可扩展的接口，支持实时游戏和回放分析，用于训练与评估。
• 支持将结构化的游戏状态表示与原始像素输入结合，提升模型可解释性与训练效率。
• 通过提供生产就绪的 Torch 与《星际争霸：母巢之战》之间的桥梁，促进复杂决策研究，支持可重现的实验与基准测试。

提出的方法

• 通过动态注入服务端 DLL 到《星际争霸：母巢之战》游戏引擎中，建立实时客户端-服务器通信通道。
• 使用同步双向协议，游戏引擎将状态数据发送给机器学习客户端，同时通过 Torch 框架接收动作。
• 支持两种执行模式：'游戏控制模式'（每场比赛后重新连接，支持多个学习实例）和'游戏附加模式'（持久连接，无需重新连接，但每台操作系统仅限一个实例）。
• 通过 Torch 暴露简单 API，包括 connect()、receive()、send() 以及用于《星际争霸：母巢之战》特定状态与动作处理的辅助函数。
• 为离线分析与模仿学习提供游戏帧和回放数据的高效存储与检索机制。
• 通过支持从结构化游戏状态和原始像素输入中提取特征，与现有深度学习模型集成，支持混合建模方法。

实验结果

研究问题

• RQ1 机器学习框架与《星际争霸：母巢之战》等即时战略游戏之间是否可以通过标准化、低层级的接口实现可扩展且可重现的强化学习研究？
• RQ2 如何有效整合结构化的游戏状态表示与原始像素输入，以提升复杂环境中学习效率与模型可解释性？
• RQ3 游戏引擎与深度学习框架之间实时、双向通信管道在部分可观测、高维环境中的端到端智能体训练中能发挥多大作用？
• RQ4 该库是否能够同时支持在线强化学习与基于人类示范数据和游戏回放的离线模仿学习？
• RQ5 在《星际争霸：母巢之战》环境中，游戏控制模式与游戏附加模式的选择在多智能体训练的可扩展性与稳定性方面有何影响？

主要发现

• TorchCraft 通过在 Torch 与游戏引擎之间提供稳定、低延迟的接口，成功实现了在《星际争霸：母巢之战》中的端到端深度强化学习。
• 该库支持实时游戏与基于回放的训练，使研究人员能够利用现有的人类对战数据与游戏轨迹进行模仿学习。
• 双执行模式——游戏控制模式与游戏附加模式——为实验设计提供了灵活性，平衡了可扩展性与连接稳定性。
• 将结构化状态表示与原始像素输入结合，可实现更高效、更精准的训练，尤其在损失函数设计或奖励函数构建方面优势显著。
• TorchCraft 已被用于《星际争霸：母巢之战》上的公开强化学习实验，结果已在 [23] 中报告，并计划在库中开源。
• 该库使研究人员能够绕过逆向工程游戏 API 的复杂性，显著降低了使用深度学习框架开展即时战略游戏 AI 研究的门槛。