[论文解读] Polycraft World AI Lab (PAL): An Extensible Platform for Evaluating Artificial Intelligence Agents

Stephen A. Goss, Robert J. Steininger+8 more|arXiv (Cornell University)|Jan 27, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

Polycraft World AI Lab (PAL) 是一个基于 Minecraft 模组 Polycraft World 构建的可扩展、基于 API 的平台，用于在多样化任务中评估 AI 代理。它支持灵活的任务创建、代理与 NPC 行为的实时日志记录，并可在动态可配置的复杂开放世界环境中训练和评估代理。

ABSTRACT

As artificial intelligence research advances, the platforms used to evaluate AI agents need to adapt and grow to continue to challenge them. We present the Polycraft World AI Lab (PAL), a task simulator with an API based on the Minecraft mod Polycraft World. Our platform is built to allow AI agents with different architectures to easily interact with the Minecraft world, train and be evaluated in multiple tasks. PAL enables the creation of tasks in a flexible manner as well as having the capability to manipulate any aspect of the task during an evaluation. All actions taken by AI agents and external actors (non-player-characters, NPCs) in the open-world environment are logged to streamline evaluation. Here we present two custom tasks on the PAL platform, one focused on multi-step planning and one focused on navigation, and evaluations of agents solving them. In summary, we report a versatile and extensible AI evaluation platform with a low barrier to entry for AI researchers to utilize.

研究动机与目标

• 应对研究进展带来的日益复杂的 AI 代理评估需求，提供适应性强、可扩展的平台。
• 通过提供可扩展性、可配置性以及对任务动态的细粒度控制，克服现有 AI 评估环境的局限性。
• 使研究人员能够轻松创建、修改和评估跨多样化任务（如多步规划与导航）的 AI 代理。
• 通过标准化的 API 接口支持不同 AI 代理架构之间的互操作性。
• 通过实时记录所有代理与 NPC 行为，实现可复现、可追溯的性能分析，从而简化评估流程。

提出的方法

• 利用 Polycraft World 模组作为基础，构建持久的开放世界仿真环境，具备丰富且可交互的元素。
• 设计模块化 API，使 AI 代理能够通过离散动作（例如移动、合成、交互）与环境互动。
• 通过运行时配置任务参数、目标和环境条件，实现动态任务生成。
• 以结构化格式记录所有代理与 NPC 的行为，支持对行为序列的详细评估与分析。
• 支持非玩家角色（NPC）的集成，以在评估期间模拟复杂的多代理交互。
• 利用该平台原型化并评估两个自定义任务：一个侧重于多步规划，另一个聚焦于导航。

实验结果

研究问题

• RQ1 如何设计一个 AI 评估平台，以在最小配置开销下支持多样化、可定制的任务？
• RQ2 具有动态任务参数的开放世界环境在多大程度上能够支持通用 AI 代理的训练与评估？
• RQ3 该平台能否有效记录并分析跨多种交互与任务类型下的复杂代理行为？
• RQ4 平台的可扩展性在多大程度上支持新评估基准的快速原型设计？
• RQ5 在受控且可配置的任务条件下，不同 AI 代理的性能特征如何？

主要发现

• PAL 支持对环境与目标参数进行细粒度控制，可创建并执行复杂且可定制的任务。
• 该平台成功记录了所有代理与 NPC 的行为，提供了详细且可追溯的记录，对性能评估至关重要。
• 已实现并使用了两个自定义任务（多步规划与导航）来评估 AI 代理，证明了平台的多功能性。
• 基于 API 的架构支持多种 AI 代理架构的无缝集成，降低了研究人员的入门门槛。
• 平台支持在评估过程中实时调整任务条件，支持动态适应性与鲁棒性测试。
• PAL 为未来在开放世界环境中开发 AI 评估基准提供了可扩展且可扩展的基础。