[论文解读] Towards End-to-End Embodied Decision Making via Multi-modal Large Language Model: Explorations with GPT4-Vision and Beyond

Liang Chen, Yichi Zhang+7 more|arXiv (Cornell University)|Oct 3, 2023

Topic Modeling被引用 4

一句话总结

本文提出了PCA-EVAL，一个用于评估多模态环境中感知、认知与行动能力的多领域基准，并提出了HOLMES，一种多智能体框架，使大语言模型（LLM）能够利用多模态API。GPT-4-Vision在端到端决策中表现优于GPT-4-HOLMES，平均准确率高出+3%，展现出最先进性能，尤其在视觉理解方面表现突出，但其仍局限于专有模型。

ABSTRACT

In this study, we explore the potential of Multimodal Large Language Models (MLLMs) in improving embodied decision-making processes for agents. While Large Language Models (LLMs) have been widely used due to their advanced reasoning skills and vast world knowledge, MLLMs like GPT4-Vision offer enhanced visual understanding and reasoning capabilities. We investigate whether state-of-the-art MLLMs can handle embodied decision-making in an end-to-end manner and whether collaborations between LLMs and MLLMs can enhance decision-making. To address these questions, we introduce a new benchmark called PCA-EVAL, which evaluates embodied decision-making from the perspectives of Perception, Cognition, and Action. Additionally, we propose HOLMES, a multi-agent cooperation framework that allows LLMs to leverage MLLMs and APIs to gather multimodal information for informed decision-making. We compare end-to-end embodied decision-making and HOLMES on our benchmark and find that the GPT4-Vision model demonstrates strong end-to-end embodied decision-making abilities, outperforming GPT4-HOLMES in terms of average decision accuracy (+3%). However, this performance is exclusive to the latest GPT4-Vision model, surpassing the open-source state-of-the-art MLLM by 26%. Our results indicate that powerful MLLMs like GPT4-Vision hold promise for decision-making in embodied agents, offering new avenues for MLLM research. Code and data are open at https://github.com/pkunlp-icler/PCA-EVAL/.

研究动机与目标

• 为解决在多模态环境中评估感知、认知与行动能力的具身决策缺乏综合性基准的问题。
• 探究最先进的多模态大语言模型（MLLM）是否能在无需模态转换的情况下实现端到端的具身决策。
• 探索通过多智能体框架实现LLM与MLLM协作，是否能提升决策性能。
• 评估智能体决策与人类价值观的一致性，特别是在安全关键场景中。

提出的方法

• 提出PCA-EVAL基准，包含三个领域——自动驾驶、家庭服务与游戏——共300个实例，以六元组形式组织：图像、问题、动作候选、答案、推理过程与关键概念。
• 设计特定任务的拓扑图，将序列决策分解为单步问题，实现超越最终奖励的细粒度评估。
• 提出HOLMES，一种多智能体协作框架，其中LLM负责协调多模态API调用（如目标检测、导航）以获取视觉与环境信息。
• 采用GPT-4作为核心LLM，GPT-4-Vision作为MLLM，对比端到端推理与API增强推理在决策中的表现。
• 使用感知、认知与行动得分作为评估指标，得分经归一化处理至1.0，以实现跨模型与跨领域的可比性。
• 开展案例研究，分析模态间隙缓解、决策与人类价值观的一致性，以及多步推理中的错误传播。

Figure 1: Domain and required ability distribution of PCA-EVAL.

实验结果

研究问题

• RQ1 像GPT-4-Vision这样的最先进多模态大语言模型能否有效实现端到端的具身决策？
• RQ2 与依赖API进行多模态感知的LLM驱动多智能体框架相比，端到端MLLM推理表现如何？
• RQ3 与通过API中介的LLM方法相比，MLLM在多大程度上减少了模态间隙与信息损失？
• RQ4 智能体决策在多大程度上与人类价值观保持一致，特别是在过街横道导航等安全关键场景中？

主要发现

• GPT-4-Vision在感知、认知与行动任务上的平均决策准确率分别为0.84、0.74与0.74，相比GPT-4-HOLMES平均准确率高出+3%。
• 与开源SOTA模型MMICL相比，GPT-4-Vision在动作得分上提升26%，凸显专有模型与开源模型之间的性能差距。
• GPT-4-HOLMES在感知任务上得分为0.88，优于GPT-4-Vision的0.84，表明在特定视觉任务中，API增强的感知更具准确性。
• 尽管感知准确率更高，GPT-4-HOLMES在家庭与游戏领域因推理错误累积，导致认知得分（0.68）低于GPT-4-Vision（0.74）。
• 案例研究显示，GPT-4-Vision能正确识别空间关系（如尽管附近有车辆，仍判断为安全驾驶），而GPT-4结合API则因缺少空间上下文而误判。
• 研究发现一个关键的不一致：GPT-4在无人行人的过街横道场景中仍建议保持速度，违背人类安全规范，凸显实现价值观对齐决策的迫切需求。

Figure 2: An instance of PCA-EVAL.