[论文解读] ProAgent: Building Proactive Cooperative Agents with Large Language Models

Ceyao Zhang, Kaijie Yang+13 more|arXiv (Cornell University)|Aug 22, 2023

Topic ModelingComputer Science被引用 3

一句话总结

ProAgent 是一种基于大语言模型（LLM）的框架，使主动协作的智能体能够通过实时推断队友意图、验证计划并修正信念，动态调整自身行为。在与人类代理模型的零样本协作中，其性能优于最先进方法超过10%，并在 Overcooked-AI 环境中的多样化多智能体场景下表现出色。

ABSTRACT

Building agents with adaptive behavior in cooperative tasks stands as a paramount goal in the realm of multi-agent systems. Current approaches to developing cooperative agents rely primarily on learning-based methods, whose policy generalization depends heavily on the diversity of teammates they interact with during the training phase. Such reliance, however, constrains the agents' capacity for strategic adaptation when cooperating with unfamiliar teammates, which becomes a significant challenge in zero-shot coordination scenarios. To address this challenge, we propose ProAgent, a novel framework that harnesses large language models (LLMs) to create proactive agents capable of dynamically adapting their behavior to enhance cooperation with teammates. ProAgent can analyze the present state, and infer the intentions of teammates from observations. It then updates its beliefs in alignment with the teammates' subsequent actual behaviors. Moreover, ProAgent exhibits a high degree of modularity and interpretability, making it easily integrated into various of coordination scenarios. Experimental evaluations conducted within the Overcooked-AI environment unveil the remarkable performance superiority of ProAgent, outperforming five methods based on self-play and population-based training when cooperating with AI agents. Furthermore, in partnered with human proxy models, its performance exhibits an average improvement exceeding 10% compared to the current state-of-the-art method. For more information about our project, please visit~\url{https://pku-proagent.github.io}.

研究动机与目标

• 为解决当前基于学习的协作智能体因依赖多样化训练队友而难以实现零样本协作的局限性。
• 使基于大语言模型的智能体能够在无需预先微调的情况下，主动推断队友意图并实时调整行为。
• 通过显式推理、规划与信念修正机制，提升多智能体系统中协作的鲁棒性与可解释性。
• 在复杂协作环境中，评估该框架在多样化 AI 队友与人类代理模型上的泛化能力。

提出的方法

• ProAgent 采用模块化流水线，包含规划器（Planner）、验证器（Verificator）、控制器（Controller）和记忆模块（Memory），以支持基于自然语言的推理与规划。
• 规划器通过上下文感知推理与过往交互记忆，从观测中推断队友意图，并生成高层次技能。
• 信念修正机制通过对比预测动作与实际队友行为，更新智能体的意图模型。
• 验证器通过检查前提条件来验证计划的可行性，并在计划失败时提供反馈，支持重新规划。
• 控制器将有效的高层次技能分解为可执行的低层次动作，并能动态适应环境变化，如路径受阻。
• 整个系统采用闭环决策过程，实现实时适应与计划失败后的恢复。

实验结果

研究问题

• RQ1 基于大语言模型的智能体是否能在无需微调的情况下，在零样本协作中主动推断并适应队友意图？
• RQ2 验证器模块在动态环境中检测并恢复计划失败方面的有效性如何？
• RQ3 引入分析与信念机制在多大程度上提升了协作任务中的规划准确率与性能？
• RQ4 ProAgent 在复杂协作环境中，对多样化 AI 队友与人类代理模型的泛化能力如何？

主要发现

• 在 Overcooked-AI 环境中，ProAgent 与人类代理模型协作时，平均性能较最先进方法提升超过10%。
• 在狭窄房间布局中，同时使用分析与信念机制时，ProAgent 得分为204，显著优于无信念机制的184，以及无分析与信念机制的100。
• 移除验证器模块后，100步内计划成功率降至20%，凸显其在基于反馈的推理与失败恢复中的关键作用。
• ProAgent 通过动态绕行替代路径成功避开阻塞路径，展示了实时自适应动作规划能力。
• ProAgent 在非对称布局中表现出一致性能，起始位置差异影响极小，而基线方法则因显著性能差异而表现不佳。
• 该框架通过自然语言推理实现了高度可解释性，支持透明且面向人类的决策过程。