[论文解读] NAIL: A General Interactive Fiction Agent

Matthew Hausknecht, Ricky Loynd+3 more|arXiv (Cornell University)|Feb 12, 2019

Natural Language Processing Techniques参考文献 12被引用 29

一句话总结

NAIL 是一种通用的互动小说智能体，通过采用模块化架构，配备专门用于导航、物体检查、交互操作和知识图谱维护的决策模块，在基于解析器的文本冒险游戏中表现出色。它在 2018 年文本冒险人工智能竞赛中取得最先进性能，20 款未见过的游戏平均完成度达 2.56%，显著优于先前的智能体（如 CARL 和 Golovin），这得益于其显式的知识图谱、对检查动作的广泛使用，以及用于预测动作成功率的可学习有效性检测器。

ABSTRACT

Interactive Fiction (IF) games are complex textual decision making problems. This paper introduces NAIL, an autonomous agent for general parser-based IF games. NAIL won the 2018 Text Adventure AI Competition, where it was evaluated on twenty unseen games. This paper describes the architecture, development, and insights underpinning NAIL's performance.

研究动机与目标

• 开发一种通用的、自主的智能体，能够在无需游戏特定训练的前提下，游玩任意人工设计的基于解析器的互动小说游戏。
• 解决文本环境中组合动作空间大、部分可观测性以及常识推理等挑战。
• 通过结构化的知识表示，实现快速探索、有效物体交互和精确状态追踪，从而提升在未见过的互动小说游戏中的表现。
• 在 2018 年文本冒险人工智能竞赛中超越现有智能体，特别是在得分累积和在多样化未见游戏中的泛化能力方面。

提出的方法

• NAIL 采用模块化架构，配备专门的决策模块——导航器（Navigator）、检查器（Examiner）、交互器（Interactor）、储藏者（Hoarder）、空闲者（Idler）及专用模块，各模块根据游戏状态的上下文线索被激活。
• 它维护一个显式且人类可读的知识图谱，记录位置、物体、物品栏和动作结果，由各决策模块动态更新。
• 检查器模块对候选物体执行详尽的“检查”动作，利用词嵌入和语义相似度优先选择可能具有交互性的物品。
• 交互器模块使用微调的语言模型，基于知识图谱生成与上下文相关的动作，针对已检查的物体。
• 一个可学习的有效性检测器可预测某动作是否可能成功，从而减少无效动作并提升知识图谱的准确性。
• 该智能体采用分层决策控制系统，各模块根据游戏状态信号（如“漆黑一片”用于黑暗处理，或“你什么都看不见”用于导航提示）接管控制权。

实验结果

研究问题

• RQ1 模块化且知识增强的智能体是否能在多样化的未见互动小说游戏中实现对现有 IF 智能体的泛化性能超越？
• RQ2 对物体的广泛检查在多大程度上能提升文本类游戏中的动作选择与谜题解决能力？
• RQ3 可学习的有效性检测器在不依赖游戏特定奖励信号的情况下，能否有效区分成功与失败的动作？
• RQ4 各决策模块对整体性能的贡献如何？哪些组件在得分累积中最为关键？
• RQ5 仅用每局游戏 1,000 步的限制，通用智能体是否能实现高性能表现，模拟真实人类游戏时长？

主要发现

• 在 2018 年文本冒险人工智能竞赛中，NAIL 在 20 款未见过的游戏中实现了平均 2.56% 的完成度，显著优于先前智能体（如 CARL 的 1.59% 和 Golovin 的 1.45%）。
• 该智能体的核心模块——导航器、检查器和交互器——带来了最大的性能提升，当仅使用导航器时得分为 1.2%，而全部模块激活后提升至 3.5%。
• NAIL 将 26% 的动作设为“检查”命令，远超 CARL（8%）、Golovin（2%）和 BYUAgent（0.2%），凸显深度物体检查的价值。
• 有效性检测器显著提升了动作选择的准确性，减少了无效动作，增强了知识图谱的可靠性。
• 消融研究显示，移除检查器或交互器模块导致性能下降最明显，证实了它们在解谜中的核心作用。
• 即使每局游戏仅允许 100 步，NAIL 仍实现了 0.95% 的平均完成度，优于 Golovin（0.99%）和 RandomAgent（1.66%），表明其具备出色的样本效率。