[论文解读] Playing the Werewolf game with artificial intelligence for language understanding

Hisaichi Shibata, Soichiro Miki+1 more|arXiv (Cornell University)|Feb 21, 2023

Topic Modeling被引用 6

一句话总结

本文提出 Deep Wolf，一种利用自然语言理解检测谎言、欺骗对手并凭借策略性投票获胜的 AI 代理。该代理通过微调的 Transformer 模型在人类游戏日志上进行训练，在村民和叛徒角色中达到与平均人类玩家相当的性能，展示了当前语言模型在社交推理情境中处理欺骗与矛盾的能力。

ABSTRACT

The Werewolf game is a social deduction game based on free natural language communication, in which players try to deceive others in order to survive. An important feature of this game is that a large portion of the conversations are false information, and the behavior of artificial intelligence (AI) in such a situation has not been widely investigated. The purpose of this study is to develop an AI agent that can play Werewolf through natural language conversations. First, we collected game logs from 15 human players. Next, we fine-tuned a Transformer-based pretrained language model to construct a value network that can predict a posterior probability of winning a game at any given phase of the game and given a candidate for the next action. We then developed an AI agent that can interact with humans and choose the best voting target on the basis of its probability from the value network. Lastly, we evaluated the performance of the agent by having it actually play the game with human players. We found that our AI agent, Deep Wolf, could play Werewolf as competitively as average human players in a villager or a betrayer role, whereas Deep Wolf was inferior to human players in a werewolf or a seer role. These results suggest that current language models have the capability to suspect what others are saying, tell a lie, or detect lies in conversations.

研究动机与目标

• 开发一种能够通过自然语言交流参与狼人杀游戏的 AI 代理，该领域充满欺骗与社交推理。
• 探究预训练语言模型是否能够学会检测谎言、编造可信的谎言，并在社交推理情境中推断他人的角色。
• 构建一个价值网络，基于对话历史估计在任意游戏状态下的获胜后验概率。
• 通过与人类玩家对战的实际游戏评估 AI 代理的性能，重点关注不同角色的胜率。
• 为涉及欺骗与矛盾检测的自然语言理解领域贡献一个新基准。

提出的方法

• 从 15 名人类玩家在五人制基于文本的狼人杀游戏中收集了 48 场游戏日志，因内存限制仅选取 32 场用于训练。
• 将日语游戏日志翻译为英文，以支持使用英语语言模型进行训练。
• 微调基于 Transformer 的预训练语言模型，构建一个价值网络，用于根据游戏状态和候选行动预测获胜的后验概率。
• 设计 AI 代理 Deep Wolf，基于价值网络预测的最高获胜概率选择下一个投票目标。
• 通过让代理与人类玩家实际对战来评估其性能，测量不同角色（村民、叛徒、狼人、预言家）的胜率。
• 将价值网络的输出用作决策启发式方法，指导投票行为，模拟在不确定性下的策略性推理。

实验结果

研究问题

• RQ1 在人类狼人杀游戏日志上微调的语言模型是否能够实时估算自身在游戏过程中的获胜概率？
• RQ2 AI 代理在社交推理游戏中在多大程度上能够利用自然语言理解来检测谎言、编造可信的谎言并操控群体动态？
• RQ3 在不同角色（如村民、狼人、预言家）中，基于自然语言日志训练的 AI 代理性能与平均人类玩家相比如何？
• RQ4 基于游戏日志训练的价值网络是否能有效指导动态、充满欺骗的对话环境中的投票目标等战略决策？
• RQ5 AI 代理在真实的人机对战狼人杀游戏中胜率如何？其胜率在不同角色中是否存在差异？

主要发现

• 当 Deep Wolf 以村民或叛徒身份游戏时，其胜率与平均人类玩家相当，表明其在欺骗与社交推理方面表现优异。
• 当以狼人或预言家身份游戏时，其表现劣于人类玩家，表明其在角色特定的战略深度或角色身份管理方面存在局限。
• 价值网络成功预测了不同游戏阶段的获胜概率，使代理能够基于对话背景做出有根据的投票决策。
• 该代理展示了识别他人陈述中不一致之处并加以利用以影响投票结果的能力，表明其具备有效的谎言检测能力。
• 在一个样本游戏中，Deep Wolf 以狼人身份参与，通过伪装成无辜者并引导群体怀疑他人，成功赢得游戏。
• 本研究首次对使用自然语言理解参与狼人杀的 AI 代理进行了实证评估，并在不同角色中获得了可测量的胜率。