[论文解读] Towards Interactive Training of Non-Player Characters in Video Games

Igor Borovikov, Jesse Harder+2 more|arXiv (Cornell University)|Jun 3, 2019

Digital Games and Media参考文献 16被引用 13

一句话总结

本文提出了一种用于在视频游戏中训练非玩家角色（NPC）的交互式模仿学习框架，通过人机协同演示实现。通过采用包含动作历史在内的扩展状态的多分辨率马尔可夫模型集合，该方法仅需极少的人工干预即可实现高性能的NPC行为，展示了在不到一分钟的交互式训练时间内，于一个gym环境和第一人称射击游戏中均能有效掌握技能。

ABSTRACT

There is a high demand for high-quality Non-Player Characters (NPCs) in video games. Hand-crafting their behavior is a labor intensive and error prone engineering process with limited controls exposed to the game designers. We propose to create such NPC behaviors interactively by training an agent in the target environment using imitation learning with a human in the loop. While traditional behavior cloning may fall short of achieving the desired performance, we show that interactivity can substantially improve it with a modest amount of human efforts. The model we train is a multi-resolution ensemble of Markov models, which can be used as is or can be further "compressed" into a more compact model for inference on consumer devices. We illustrate our approach on an example in OpenAI Gym, where a human can help to quickly train an agent with only a handful of interactive demonstrations. We also outline our experiments with NPC training for a first-person shooter game currently in development.

研究动机与目标

• 解决手写NPC行为在可扩展性和真实性方面的局限性。
• 使游戏设计师能够通过最少干预的交互式演示，训练出高质量、类人的NPC。
• 通过引入动作历史和量化状态表示，提升模仿学习中的泛化能力和风格保真度。
• 开发一种轻量化、适合在消费级硬件上实时部署的模型。
• 证明在复杂、开放世界游戏环境中实现交互式训练的可行性。

提出的方法

• 该方法使用基于人类演示训练的多分辨率马尔可夫模型集合，以捕捉分层和风格化的行为。
• 通过将当前观测与最近n步的动作历史相结合，构建扩展状态，增强模型保持类人风格的能力。
• 对状态空间和动作空间进行量化，实现从有限演示中的泛化，降低模型复杂度并提升推理速度。
• 通过人机协同控制进行迭代训练，当智能体失败时，设计师接管并提供纠正性演示。
• 该框架支持通过DAGGER或基于自举的数据生成实现模型压缩，适用于实时游戏环境中的部署。
• 将游戏状态特征转换为相对的、语义上有意义的表示（例如，相对位置、视线、生命值、弹药量），以提高学习效率。

实验结果

研究问题

• RQ1 与标准行为克隆相比，交互式、人机协同的模仿学习是否能显著提升NPC行为质量？
• RQ2 使用包含动作历史的扩展状态，在保留人类游戏风格特征方面有多有效？
• RQ3 在少量交互式演示下，量化后的多分辨率马尔可夫模型能在多大程度上实现泛化？
• RQ4 该方法是否能在复杂、开放世界的第一人称射击游戏中训练出能力胜任、实时响应的NPC？
• RQ5 随着交互式演示数量的增加和量化方案的变化，模型性能如何变化？

主要发现

• 在Lunar Lander环境中，该模型在仅经过几次交互式演示后，性能显著优于随机智能体，且至少有一集被完全解决。
• 在第一人称射击游戏中，马尔可夫集合模型在40秒内的人机交互中学习到了激进的攻击行为，无需硬编码的备用逻辑。
• 模型的推理效率保持较高水平，加载和推理时间与演示数量呈线性关系，支持实时使用。
• 状态和动作空间的量化即使在训练数据有限的情况下也实现了有效泛化，提升了对未见状态的鲁棒性。
• 该方法表明，即使人类演示质量一般，其表现也显著优于随机策略，尤其在结合交互式纠正后效果更佳。
• 该框架支持通过DAGGER或合成数据生成实现模型压缩，使紧凑且高性能的模型可在消费级硬件上部署。