[论文解读] Octopus: Embodied Vision-Language Programmer from Environmental Feedback

Jingkang Yang, Yuhao Dong+9 more|arXiv (Cornell University)|Oct 12, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

Octopus 是一个视觉-语言模型，能够从自然语言指令和第一视角视觉输入生成可执行代码，通过 GPT-4 生成的示范进行训练，并利用环境反馈进行强化学习（RLEF）微调。该模型在 OctoGibson 和 GTA 等模拟环境中实现了卓越的任务规划与执行能力，优于零样本模型（如 GPT-4V），尤其在复杂且依赖视觉的任务中表现更优。

ABSTRACT

Large vision-language models (VLMs) have achieved substantial progress in multimodal perception and reasoning. When integrated into an embodied agent, existing embodied VLM works either output detailed action sequences at the manipulation level or only provide plans at an abstract level, leaving a gap between high-level planning and real-world manipulation. To bridge this gap, we introduce Octopus, an embodied vision-language programmer that uses executable code generation as a medium to connect planning and manipulation. Octopus is designed to 1) proficiently comprehend an agent's visual and textual task objectives, 2) formulate intricate action sequences, and 3) generate executable code. To facilitate Octopus model development, we introduce OctoVerse: a suite of environments tailored for benchmarking vision-based code generators on a wide spectrum of tasks, ranging from mundane daily chores in simulators to sophisticated interactions in complex video games such as Grand Theft Auto (GTA) and Minecraft. To train Octopus, we leverage GPT-4 to control an explorative agent that generates training data, i.e., action blueprints and corresponding executable code. We also collect feedback that enables an enhanced training scheme called Reinforcement Learning with Environmental Feedback (RLEF). Through a series of experiments, we demonstrate Octopus's functionality and present compelling results, showing that the proposed RLEF refines the agent's decision-making. By open-sourcing our simulation environments, dataset, and model architecture, we aspire to ignite further innovation and foster collaborative applications within the broader embodied AI community.

研究动机与目标

• 弥合视觉-语言推理与具身智能体可执行动作生成之间的差距。
• 使视觉-语言模型不仅能生成计划，还能生成正确、可执行的代码序列，以实现实时环境交互。
• 克服现有模型仅生成高层计划或在复杂视觉环境中泛化能力不足的局限性。
• 开发一个可扩展的开源框架，用于在模拟环境和环境反馈下训练与评估具身视觉-语言智能体。
• 探索此类模型在多样化、此前未见过的环境（如 GTA）中的可迁移性，证明其在训练域之外的泛化能力。

提出的方法

• 在 OctoVerse 模拟器中利用 GPT-4 作为教师智能体，为多样化任务生成动作蓝图及对应可执行代码。
• 收集包含第一视角视觉观测、自然语言指令和真实动作序列的多模态训练数据。
• 在数据收集过程中引入模拟器的环境反馈，以区分成功与失败的动作，支持基于反馈的训练。
• 提出环境反馈强化学习（RLEF），其中奖励源自模拟器结果，用于微调模型。
• 使用近端策略优化（PPO）对视觉-语言模型进行微调，以提升策略对齐与决策准确性。
• 构建两个评估环境：OctoGibson 用于结构化家庭任务，OctoGTA 用于开放式、复杂的电子游戏场景，以测试泛化能力与推理能力。

实验结果

研究问题

• RQ1 视觉-语言模型能否从自然语言和视觉输入生成可执行代码，而非仅生成高层计划？
• RQ2 环境反馈在提升视觉-语言智能体在模拟环境中策略学习方面的有效性如何？
• RQ3 在单一环境（如 OctoGibson）中预训练的模型，能在多大程度上泛化到显著不同的环境（如 GTA）中，且仅需极少微调？
• RQ4 在视觉密集型、类真实世界任务中，视觉-语言编程模型的性能与零样本大语言模型（如 GPT-4V）相比如何？
• RQ5 结合 GPT-4 生成的示范与 RLEF 训练，是否能带来更具鲁棒性与准确性的具身智能任务执行？

主要发现

• 在 OctoGibson 环境中，Octopus 在依赖视觉的任务（如定位烧瓶）中表现优于 GPT-4V，后者因缺乏环境熟悉度而失败。
• 在 GTA 环境中进行少样本迁移时，Octopus 成功完成了 11 项任务中的 4 项，证明其在训练域外环境中的可迁移性。
• RLEF 训练方案显著提升了决策准确性，体现在复杂多步任务中的更高成功率。
• Octopus 在 OctoGibson 中的常规家庭任务中取得了高成功率，表明其在结构化、视觉丰富的环境中表现优异。
• 该模型在生成与视觉感知和自然语言指令一致的可执行代码序列方面表现出强鲁棒性。
• 模型、模拟器（OctoGibson 与 OctoGTA）及数据集的开源，预计将推动具身智能与视觉-语言编程领域的进一步创新。