[论文解读] Winning Isn't Everything: Enhancing Game Development with Intelligent Agents

Yunqi Zhao, Igor Borovikov+15 more|arXiv (Cornell University)|Mar 25, 2019

Reinforcement Learning in Robotics参考文献 65被引用 10

一句话总结

本文提出训练智能体的目的并非击败游戏，而是通过模拟类人玩家的测试与游戏行为来辅助游戏开发。通过结合从A*规划到深度强化学习等多种技术，在技能与风格之间取得平衡，作者表明，最先进强化学习模型在从基准环境迁移到真实游戏开发场景时，需要大量超参数调优才能有效迁移。

ABSTRACT

Recently, there have been several high-profile achievements of agents learning to play games against humans and beat them. In this paper, we study the problem of training intelligent agents in service of game development. Unlike the agents built to "beat the game", our agents aim to produce human-like behavior to help with game evaluation and balancing. We discuss two fundamental metrics based on which we measure the human-likeness of agents, namely skill and style, which are multi-faceted concepts with practical implications outlined in this paper. We report four case studies in which the style and skill requirements inform the choice of algorithms and metrics used to train agents; ranging from A* search to state-of-the-art deep reinforcement learning. We, further, show that the learning potential of state-of-the-art deep RL models does not seamlessly transfer from the benchmark environments to target ones without heavily tuning their hyperparameters, leading to linear scaling of the engineering efforts and computational cost with the number of target domains.

研究动机与目标

• 开发能够通过模拟类人玩家行为来支持游戏设计的智能体，而非单纯优化胜率。
• 解决创建能反映真实玩家技能与风格的智能体的挑战，以用于自动化测试与非玩家角色设计。
• 研究如何根据特定游戏设计需求，从基于规则的规划到深度强化学习等不同算法中进行选择。
• 评估最先进深度强化学习模型从基准环境（如Atari）向真实游戏开发场景迁移的有效性。
• 通过识别在特定设计场景中更简单模型（如A*）优于复杂强化学习的情况，降低工程与计算成本。

提出的方法

• 将技能定义为任务效率，将风格定义为游戏行为中的统计模式，以此作为双重指标来评估智能体的类人程度。
• 在《The Sims Mobile》中应用A*搜索，以建模快速、低动作的推进方式，避免学习过程，从而实现轻量化、高精度的玩家测试。
• 在具有延迟奖励的手机游戏中使用无模型深度强化学习（PPO、Rainbow），基于玩家推进模式评估设计决策。
• 构建多分辨率马尔可夫模型集成以从人类示范中捕捉游戏风格，随后通过人机协同反馈进行优化，并蒸馏为紧凑的DNN以实现更快推理。
• 在具有复杂涌现行为的团队体育类游戏中训练深度强化学习智能体，其行为受队友风格影响，需仔细设计奖励函数并进行超参数调优。
• 开展消融研究，比较不同算法与观测空间下智能体的性能，强调领域特定调优的必要性。

实验结果

研究问题

• RQ1 如何设计智能体以在游戏开发中模拟类人行为，而非仅最大化胜率？
• RQ2 技能与风格在多大程度上可被定量建模并平衡，以支持游戏设计任务？
• RQ3 在目标简单且定义明确的游戏中，轻量级规划算法（如A*）是否能优于深度强化学习？
• RQ4 观测空间设计与奖励函数塑造在具有延迟奖励的游戏中的深度强化学习智能体性能方面有何影响？
• RQ5 在未进行大量超参数调优的情况下，最先进深度强化学习模型在从基准环境向真实游戏开发领域迁移时，其迁移效果在多大程度上有效？

主要发现

• 在《The Sims Mobile》中，A*搜索优于深度强化学习，因为该游戏具有简单且结构清晰的推进路径，证明了在目标明确且动作最少的情况下，非学习方法可能更有效。
• 在具有延迟奖励的手机游戏中，观测空间的选择显著影响深度强化学习智能体的有效性，次优空间导致策略学习效果差。
• 多分辨率马尔可夫模型集成能有效捕捉游戏风格，但在未充分探索的状态下泛化能力差，通过增加基本规则和人机协同优化得以缓解。
• 将集成模型蒸馏为监督式DNN可提升推理速度与泛化能力，表明混合建模在风格迁移中的价值。
• 在团队体育类游戏中，PPO智能体在策略优化中达到局部最小值，表明若无精心设计的奖励函数，直接策略训练会导致次优行为。
• 最先进深度强化学习模型（如PPO、Rainbow）无法无缝从基准环境迁移到目标游戏，需大量超参数调优，且导致工程工作量随每个新领域线性增长。