[论文解读] Utility of a Behavlets approach to a Decision theoretic predictive player model

Benjamin Ultan Cowley, Darryl Charles|arXiv (Cornell University)|Mar 29, 2016

Artificial Intelligence in Games参考文献 7被引用 4

一句话总结

本文评估了行为模块（Behavlets）方法——将玩家心理、游戏结构和动作序列整合——作为提升《吃豆人》中基于决策理论的预测玩家模型的基础。通过用心理学启发的复合行为模块替代基础状态特征，该模型实现了35%更高的准确率和实时性能，证明基于行为的特征能显著增强游戏AI中的预测建模效果。

ABSTRACT

We present the second in a series of three academic essays which deal with the question of how to build a generalized player model. We begin with a proposition: a general model of players requires parameters for the subjective experience of play, including at least three areas: a) player psychology, b) game structure, and c) actions of play. Based on this proposition, we pose three linked research questions, which make incomplete progress toward a generalized player model: RQ1 what is a necessary and sufficient foundation to a general player model?; RQ2 can such a foundation improve performance of a computational intelligence-based player model?; and RQ3 can such a player model improve efficacy of adaptive artificial intelligence in games? We set out the arguments for each research question in each of the three essays, presented as three preprints. The second essay, in this preprint, illustrates how our 'Behavlets' method can improve the performance and accuracy of a predictive player model in the well-known Pac-Man game, by providing a simple foundation for areas a) to c) above. We then propose a plan for future work to address RQ2 by conclusively testing the Behavlets approach. This plan builds on the work proposed in the first preprint essay to address RQ1, and in turn provides support for work on RQ3. The Behavlets approach was described previously; therefore if citing this work please use the correct citation: Cowley B, Charles D. Behavlets: a Method for Practical Player Modelling using Psychology-Based Player Traits and Domain Specific Features. User Modelling and User-Adapted Interaction. 2016 Feb 8; online (Special Issue on Personality in Personalized Systems):1-50.

研究动机与目标

• 探究基于心理学的模型基础（如行为模块）是否能提升基于计算智能的预测玩家模型的性能。
• 解决现有模型缺乏整合主观玩家体验（包括心理学、游戏结构和动作动态）的缺陷。
• 评估此类基础是否能通过提升模型准确率和响应速度，增强自适应AI在游戏中的有效性。
• 为行为模块作为嵌入玩家特质与游戏特异性行为至预测模型的实用方法提供实证验证。
• 通过将经验证的心理学与设计基础特征整合进AI决策框架，为未来通用玩家建模研究奠定基础。

提出的方法

• 将行为模块方法应用于《吃豆人》中扩展动作序列的复合特征提取，将玩家心理、游戏机制与设计模式整合为可观测的行为特征。
• 对比两种基于决策理论的模型：一种使用基础游戏状态特征（基线模型），另一种使用行为模块衍生的复合特征来计算效用函数。
• 效用函数通过决策理论框架计算，其中动作选择以在有限规划时域内最大化期望效用为目标。
• 通过受控实验测量模型性能，指标包括准确率（正确移动预测的百分比）和执行速度（每状态更新的毫秒数）。
• 通过排除分析评估特征重要性：依次移除每个行为模块，测量其对准确率和速度的影响。
• 使用相关性分析将模型预测准确率与基于行为模块的先前玩家类型分类结果关联，验证该方法的可迁移性。

实验结果

研究问题

• RQ1 整合玩家心理、游戏结构与动作动态的通用玩家模型，其必要且充分的基础是什么？
• RQ2 此类基础是否能提升基于计算智能的预测玩家模型的算法性能与准确率？
• RQ3 基于此基础构建的玩家模型，是否能增强自适应AI在游戏中的有效性与响应速度？
• RQ4 与基础状态特征相比，行为模块衍生的特征在多大程度上提升了预测准确率？
• RQ5 通过行为模块获得的心理与行为特征，与玩家类型分类结果及预测性能之间存在何种相关性？

主要发现

• 基于行为模块的模型实现了72.7%的准确率，相较于仅使用基础状态特征的基线模型，准确率提升了35%。
• 行为模块模型实现了实时性能（每状态240毫秒），而基线模型运行在非实时速度下。
• 移除Points_Max特征后，准确率下降约16%，表明其在效用计算中具有主导影响。
• 其他行为模块共同贡献了剩余的性能提升，无单一特征占据主导，表明存在协同作用。
• 玩家类型分类结果（征服者 vs. 非征服者）与模型预测准确率之间存在统计显著的正相关（r = 0.5，p = 0.001），支持行为模块在玩家建模中的相关性。
• 执行速度与准确率之间的相关性微弱且不显著（r = 0.16，p ≈ 0.1），表明性能提升并非源于更长的计算时间。