[论文解读] Vision-Language Interpreter for Robot Task Planning

Keisuke Shirai, Cristian C. Beltran-Hernandez+7 more|arXiv (Cornell University)|Nov 2, 2023

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出 ViLaIn，一种视觉-语言解释器，能够从自然语言指令和场景观测中生成语法正确且可执行的 PDDL 问题描述（PD），使符号机器人规划器能够生成可解释、逻辑有效的计划。ViLaIn 在语法正确性方面达到 99% 以上，在生成有效计划方面成功率超过 58%，并通过规划器反馈进行优化，同时使用一种新型数据集（ProDG）进行评估。

ABSTRACT

Large language models (LLMs) are accelerating the development of language-guided robot planners. Meanwhile, symbolic planners offer the advantage of interpretability. This paper proposes a new task that bridges these two trends, namely, multimodal planning problem specification. The aim is to generate a problem description (PD), a machine-readable file used by the planners to find a plan. By generating PDs from language instruction and scene observation, we can drive symbolic planners in a language-guided framework. We propose a Vision-Language Interpreter (ViLaIn), a new framework that generates PDs using state-of-the-art LLM and vision-language models. ViLaIn can refine generated PDs via error message feedback from the symbolic planner. Our aim is to answer the question: How accurately can ViLaIn and the symbolic planner generate valid robot plans? To evaluate ViLaIn, we introduce a novel dataset called the problem description generation (ProDG) dataset. The framework is evaluated with four new evaluation metrics. Experimental results show that ViLaIn can generate syntactically correct problems with more than 99\% accuracy and valid plans with more than 58\% accuracy. Our code and dataset are available at https://github.com/omron-sinicx/ViLaIn.

研究动机与目标

• 通过从自然语言和视觉输入生成机器可读、可执行的问题描述（PD），弥合语言引导与符号机器人规划之间的鸿沟。
• 通过利用生成人类可读、逻辑正确的计划的符号规划器，提升机器人任务规划的可解释性。
• 解决在不进行微调的情况下，仅使用大语言模型和视觉-语言模型生成语义和语法正确的 PD 的挑战。
• 通过新数据集和评估指标，评估框架在正确性与计划有效性方面的表现。

提出的方法

• ViLaIn 使用三模块流水线，从语言指令和图像观测中生成 PDDL 问题描述的领域、初始状态（I）和目标状态（G）。
• 该框架采用最先进大语言模型（LLMs）和视觉-语言模型的 few-shot prompting，生成每个 PD 组件。
• 通过规划器反馈引入纠正性重提示（CR）和思维链（CoT）提示，以优化生成的 PD。
• 符号规划器（Fast Downward）验证生成的 PD，失败反馈用于迭代修正 PD 中的错误。
• 提出一种新型端到端生成变体 ViLaIn_whole，一次性生成完整 PD，以评估模块化与性能之间的权衡。
• 使用新数据集（ProDG）评估框架，涵盖烹饪、积木世界和汉诺塔领域，引入四项新评估指标。

实验结果

研究问题

• RQ1 视觉-语言模型能否在不进行微调的情况下，从自然语言和视觉输入中生成语法正确且语义有效的 PDDL 问题描述？
• RQ2 纠正性重提示（CR）和思维链（CoT）提示在提升生成 PD 质量方面的有效性如何？
• RQ3 模块化与端到端 PD 生成在计划有效性与语法正确性方面的影响如何？
• RQ4 该框架在不同规划领域，尤其是在积木世界等复杂关系环境中的表现如何？
• RQ5 符号规划器的反馈在多大程度上能提升生成问题描述的准确性和一致性？

主要发现

• ViLaIn 在所有领域均实现 99.0% 或以上的语法正确性，烹饪和汉诺塔领域达到 100% 语法准确率。
• 该框架整体生成有效机器人计划的准确率为 58.0%，在烹饪领域达到 100%，在汉诺塔领域达到 94.0%。
• 在积木世界领域，ViLaIn 的计划成功率是 58.0%，但整体准确率降至 13.0%，表明块关系命题存在错误。
• 纠正性重提示（CR）显著提升性能：在烹饪领域，移除 CR 会使整体准确率从 0.71 降至 0.09。
• 思维链（CoT）提示至关重要：移除 CoT 会使整体准确率从 0.71 降至 0.59，表明其在减少幻觉方面的作用。
• 端到端生成（ViLaIn_whole）在汉诺塔领域优于模块化版本，表明生成过程中更近的词元邻近性有助于提升关系一致性。