[论文解读] The Challenge of Believability in Video Games: Definitions, Agents Models and Imitation Learning

Fabien Tencé, Cédric Buche+2 more|arXiv (Cornell University)|Sep 2, 2010

Artificial Intelligence in Games参考文献 24被引用 24

一句话总结

本文提出一种两步框架，通过模仿学习在电子游戏中创建逼真、类玩家控制的智能体。将逼真性定义为人类控制的错觉，通过领域特定标准进行评估，并主张采用在线、快速学习模型——特别是使用增量学习算法（如HMM的Baum-Welch算法）——实现实时自适应、类人的行为。

ABSTRACT

In this paper, we address the problem of creating believable agents (virtual characters) in video games. We consider only one meaning of believability, ``giving the feeling of being controlled by a player'', and outline the problem of its evaluation. We present several models for agents in games which can produce believable behaviours, both from industry and research. For high level of believability, learning and especially imitation learning seems to be the way to go. We make a quick overview of different approaches to make video games' agents learn from players. To conclude we propose a two-step method to develop new models for believable agents. First we must find the criteria for believability for our application and define an evaluation method. Then the model and the learning algorithm can be designed.

研究动机与目标

• 将电子游戏中逼真性的定义为‘给人以被人类玩家控制的错觉’，以区别于艺术领域中的一般‘生命错觉’概念。
• 识别影响逼真性的领域特定标准，如不可预测性、学习适应性，以及避免重复或失败行为。
• 提出一种两步法设计逼真智能体：首先定义评估标准与方法，然后据此选择或设计模型与学习算法。
• 强调在线快速学习的必要性，以在游戏过程中维持类玩家控制的错觉。
• 将模仿学习定位为实现逼真智能体行为的最适宜方法，通过建模人类示范者的行为来实现。

提出的方法

• 将逼真性定义为‘给人以被玩家控制的错觉’，以契合游戏中的玩家互动与具身性体验。
• 采用两步设计流程：(1) 识别应用特定的逼真性标准与评估方法；(2) 根据这些标准选择或设计行为模型与模仿学习算法。
• 应用增量学习技术，如隐马尔可夫模型（HMM）的Baum-Welch算法，以实现在游戏过程中在线参数更新。
• 引入学习约束，如快速、可观察的学习以及从有限示范中泛化，以避免过拟合或随机性。
• 将行为模型与学习算法结合，实现实时结构或参数自适应，确保响应性与逼真性。
• 使用人类示范作为模仿学习的训练数据，旨在复制类人决策，而无需显式编程。

实验结果

研究问题

• RQ1 如何定义电子游戏中智能体的逼真性，使其能体现玩家具身性与互动性，而不仅仅是‘生命错觉’？
• RQ2 影响游戏智能体逼真感感知的关键标准是什么？这些标准在不同游戏类型与互动模式下如何变化？
• RQ3 模仿学习在多大程度上能通过实时复制人类玩家行为，实现逼真智能体行为？
• RQ4 如何设计学习算法，以确保学习过程快速、可观察且具备泛化能力，同时不破坏玩家控制的错觉？
• RQ5 在追求交互式游戏环境中高逼真度时，选择行为模型与学习算法面临哪些约束与权衡？

主要发现

• 电子游戏中逼真性的最佳定义是‘给人以被人类玩家控制的错觉’，这与传统动画中的‘生命错觉’概念有本质区别。
• 可预测性与无法学习是破坏玩家控制错觉的主要缺陷，而适度的不可预测性可增强逼真感。
• 模仿学习被识别为实现逼真智能体行为的极佳方法，因其可直接从示范中建模类人行为。
• 在线学习，特别是使用HMM的Baum-Welch算法等增量算法，可实现实时适应，支持快速、可观察的学习，这对维持逼真性至关重要。
• 逼真智能体的成功在很大程度上取决于行为模型、学习算法与游戏环境特定约束之间的匹配程度。
• 首先评估人类与简单智能体的逼真度，有助于为设计更复杂、具备学习能力的智能体建立基准。