[论文解读] Why Build an Assistant in Minecraft?

Arthur Szlam, Jonathan Gray+12 more|arXiv (Cornell University)|Jul 22, 2019

Reinforcement Learning in Robotics参考文献 95被引用 9

一句话总结

本文提出在Minecraft环境中构建一个开源的、交互式的AI助手，以推动具身自然语言理解与交互式学习的研究。通过利用Minecraft结构化、基于规则的世界以及丰富的用户参与式对话交互，该框架能够实现从自然语言指令和多轮对话中进行样本高效、终身学习，为研究交互式AI智能体提供了一个切实可行且真实的测试平台。

ABSTRACT

In this document we describe a rationale for a research program aimed at building an open "assistant" in the game Minecraft, in order to make progress on the problems of natural language understanding and learning from dialogue.

研究动机与目标

• 通过将Minecraft用作受控的交互式平台，解决在复杂、类现实环境中从自然语言交互中学习的挑战。
• 研究AI智能体如何在结构化但多样的任务空间中，从多轮对话、示范和反馈中进行学习。
• 通过随时间适应个体用户语言模式和任务分布，实现样本高效、终身学习。
• 创建一个开源、可扩展的研究平台，支持模块化、自我改进的AI系统，并具备明确定义的接口。
• 通过提供公开可用、可扩展的测试平台，克服专有虚拟助手的局限性，推动交互式智能体研究。

提出的方法

• 设计一个模块化、交互式的助手系统，将自然语言理解、对话管理与动作执行集成到Minecraft环境中。
• 利用具有有限方块类型和制作规则的3D体素世界，创建一个规则性强、可预测的任务空间，有利于学习。
• 实施用户参与式设置，玩家通过文本聊天与助手交互，提供自然语言指令和反馈。
• 开发一个框架（CraftAssist），连接玩家与AI智能体，记录交互数据，并支持训练与评估。
• 利用程序合成与语义解析技术，将自然语言指令映射为Minecraft中的可执行动作或计划。
• 通过让助手基于与个体用户的重复交互持续适应其理解与行为，实现终身学习。

实验结果

研究问题

• RQ1 AI智能体如何在Minecraft这类复杂、开放的环境中理解并执行多样化的自然语言指令？
• RQ2 基于对话的交互在多大程度上能提升交互式学习中的样本效率与任务泛化能力？
• RQ3 助手如何根据个体用户偏好和交互历史，随时间调整其行为与语言理解能力？
• RQ4 Minecraft中的感知规律与环境约束在实现更高效、更鲁棒的语言具身化方面起到什么作用？
• RQ5 模块化、自我改进的AI系统是否能在公开可用的交互式仿真平台上被有效训练与评估？

主要发现

• Minecraft环境为研究具身自然语言理解与交互式学习提供了丰富、结构化且交互性强的平台。
• Minecraft的任务空间受限于有限的方块类型、物理规则和常见的制作模式，使得学习比在开放的现实世界设置中更具可操作性。
• 通过文本聊天进行的用户参与式交互，为训练交互式智能体提供了可扩展的多样化自然语言指令与反馈来源。
• 该框架支持终身学习，使助手能够随时间适应个体用户的语言和任务偏好。
• CraftAssist的开源发布（https://github.com/facebookresearch/craftassist）提供了一个可重用的基础设施，可用于在受控但逼真的环境中训练、评估和部署交互式AI智能体。
• 该方法通过对话支持程序合成与语义解析的研究，为超越静态数据集的交互式多轮学习提供了一个测试平台。