[论文解读] Prompter: Utilizing Large Language Model Prompting for a Data Efficient Embodied Instruction Following

Yuki Inoue, Hiroki Ohashi|arXiv (Cornell University)|Nov 7, 2022

Natural Language Processing Techniques被引用 15

一句话总结

本文提出 Prompter，一种数据高效的人形指令遵循方法，通过使用大语言模型（LLM）提示代替传统的数据密集型语义搜索模块，实现高效推理。通过利用预训练 LLM 在无需额外训练数据的情况下推断物体空间关系，Prompter 在 ALFRED 数据集上实现了 45.72% 的成功率，相较于之前最先进方法提升 10.31%，且无需额外标注或微调。

ABSTRACT

Embodied Instruction Following (EIF) studies how autonomous mobile manipulation robots should be controlled to accomplish long-horizon tasks described by natural language instructions. While much research on EIF is conducted in simulators, the ultimate goal of the field is to deploy the agents in real life. This is one of the reasons why recent methods have moved away from training models end-to-end and take modular approaches, which do not need the costly expert operation data. However, as it is still in the early days of importing modular ideas to EIF, a search for modules effective in the EIF task is still far from a conclusion. In this paper, we propose to extend the modular design using knowledge obtained from two external sources. First, we show that embedding the physical constraints of the deployed robots into the module design is highly effective. Our design also allows the same modular system to work across robots of different configurations with minimal modifications. Second, we show that the landmark-based object search, previously implemented by a trained model requiring a dedicated set of data, can be replaced by an implementation that prompts pretrained large language models for landmark-object relationships, eliminating the need for collecting dedicated training data. Our proposed Prompter achieves 41.53\% and 45.32\% on the ALFRED benchmark with high-level instructions only and step-by-step instructions, respectively, significantly outperforming the previous state of the art by 5.46\% and 9.91\%.

研究动机与目标

• 通过最小化对特定任务数据集的依赖，减少人形指令遵循（EIF）中的数据依赖性。
• 通过提出一种避免昂贵数据采集的方法，弥合仿真环境与真实世界之间的部署差距。
• 在不引入新可训练组件的前提下，提升现有模块化 EIF 框架（如 FILM）的性能。
• 评估 LLM 提示作为 EIF 中监督语义搜索的替代方案的有效性。
• 证明基于 LLM 的推理能够比在有偏见的仿真器数据分布上训练的数据驱动模型更稳健地捕捉空间共现关系。

提出的方法

• 提出 FILM++，即 FILM 框架的增强版本，通过架构和推理时的改进提升性能，而无需重新训练任何模块。
• 将 FILM++ 中的语义搜索模块替换为使用预训练大语言模型（LLM）的零样本提示机制。
• 利用 LLM 基于自然语言描述和观察到的场景上下文预测目标物体的可能位置，将共现概率视为相似性度量。
• 应用提示模板以激发 LLM 的空间推理能力，例如预测目标物体相对于其他可见物体的可能位置。
• 采用物体共现的负对数概率作为相似性度量，用于 2D 可视化和空间推理分析。
• 实施障碍物扩展及其他环境修改，以提升导航安全性并减少碰撞。

实验结果

研究问题

• RQ1 LLM 提示能否在不需额外训练数据的情况下替代 EIF 中的监督语义搜索模块？
• RQ2 基于 LLM 的语义搜索在成功率和泛化能力方面相较于数据驱动的替代方案表现如何？
• RQ3 LLM 能在多大程度上捕捉真实世界中物体之间的空间关系，尤其是在未见过的环境中？
• RQ4 与在合成仿真器数据上训练的模型相比，零样本提示是否在分布偏移下表现出更强的鲁棒性？
• RQ5 基于 LLM 的推理在 EIF 中的失败模式是什么？与传统模块化智能体的失败模式有何不同？

主要发现

• Prompter 在 ALFRED 基准测试中，使用逐步指令时达到 45.72% 的成功率，较之前最先进方法高出 10.31 个百分点。
• 仅使用高层指令时，Prompter 达到 42.64% 的成功率，较之前最先进方法提升 6.57 个百分点。
• 基于 LLM 提示的语义搜索模块在无需任何额外训练数据的情况下，优于随机搜索和基于 CNN 的基线模型，且在 FILM++ 中表现更优。
• 失败分析显示，Prompter 的错误中 32.80% 源于语言理解问题，28.80% 源于未能找到目标物体，表明视觉-语言对齐仍具挑战。
• 与 FILM 相比，该方法将碰撞减少了 97.5%，主要得益于环境仿真中障碍物的增强扩展。
• 2D MDS 可视化中的物体聚类结果表明，基于 LLM 的模块能有效捕捉房间级空间共现关系，如书架和马克杯靠近咖啡机。