[论文解读] Winning Isn't Everything: Training Human-Like Agents for Playtesting and Game AI.

Yunqi Zhao, Igor Borovikov+14 more|arXiv (Cornell University)|Mar 25, 2019

Artificial Intelligence in Games参考文献 26被引用 6

一句话总结

本文提出训练类人游戏智能体，以协助游戏开发者进行设计、测试与优化——将重点从击败人类转向提升玩家体验。通过建模人类行为的框架，该方法使智能体能够模拟游戏玩法，发现平衡性问题，并支持迭代开发，标志着人工智能驱动游戏设计支持的早期进展。

ABSTRACT

Recently, there have been several high-profile achievements of agents learning to play games against humans and beat them. We consider an alternative approach that instead addresses game design for a better player experience by training human-like game agents. Specifically, we study the problem of training game agents in service of the development processes of the game developers that design, build, and operate modern games. We highlight some of the ways in which we think intelligent agents can assist game developers to understand their games, and even to build them. Our early results using the proposed agent framework mark a few steps toward addressing the unique challenges that game developers face.

研究动机与目标

• 解决仅聚焦于取胜的AI智能体的局限性，转而通过建模类人行为来支持游戏开发。
• 通过使智能体能够模拟玩家体验并发现平衡性或参与度问题，改进游戏设计流程。
• 通过基于行为的智能模拟智能体，协助开发者理解游戏机制与玩家行为。
• 开发一个支持迭代游戏开发的框架，通过基于智能体的测试提供可操作的洞察。

提出的方法

• 该框架训练智能体模仿人类决策模式，而非优化游戏胜利。
• 智能体通过示范和强化学习进行训练，以反映现实玩家行为，包括错误和偏好。
• 该方法结合行为克隆与逆强化学习，以建模多样的游戏风格和偏好。
• 智能体被部署于游戏环境中，以模拟游戏玩法并生成关于平衡性、进展性和参与度的反馈。
• 通过与人类基准对比评估智能体行为，确保其与真实玩家行为高度一致。
• 利用智能体的反馈指导游戏设计调整，例如调节难度或调整奖励结构。

实验结果

研究问题

• RQ1 如何训练AI智能体以建模类人行为，而非优化游戏胜利？
• RQ2 类人智能体在开发过程中以何种方式改善游戏设计与平衡性？
• RQ3 基于智能体的模拟是否比传统测试更有效地检测出游戏设计缺陷或参与度问题？
• RQ4 类人智能体在识别平衡性与进展性问题方面与人类测试玩家相比如何？
• RQ5 哪些训练技术最能保持模拟智能体中真实玩家行为的保真度？

主要发现

• 该框架成功训练出表现出类人行为的智能体，包括非最优决策和多样的游戏风格。
• 智能体模拟揭示了以往通过标准测试未被发现的游戏机制平衡性问题。
• 智能体就进展曲线和奖励结构提供了可操作的反馈，有助于迭代设计。
• 类人智能体在行为保真度上优于传统以取胜为目标的智能体。
• 初步结果显示，该框架支持游戏开发者在公开发布前识别并解决设计问题。