[论文解读] Vision-Language Foundation Models as Effective Robot Imitators

Xinghang Li, Minghuan Liu+10 more|arXiv (Cornell University)|Nov 2, 2023

Multimodal Machine Learning Applications被引用 18

一句话总结

RoboFlamingo 将开源视觉-语言模型用于机器人操控，采用模仿学习，在 CALVIN 上以 OpenFlamingo 主干和轻量微调实现了最先进的结果。

ABSTRACT

Recent progress in vision language foundation models has shown their ability to understand multimodal data and resolve complicated vision language tasks, including robotics manipulation. We seek a straightforward way of making use of existing vision-language models (VLMs) with simple fine-tuning on robotics data. To this end, we derive a simple and novel vision-language manipulation framework, dubbed RoboFlamingo, built upon the open-source VLMs, OpenFlamingo. Unlike prior works, RoboFlamingo utilizes pre-trained VLMs for single-step vision-language comprehension, models sequential history information with an explicit policy head, and is slightly fine-tuned by imitation learning only on language-conditioned manipulation datasets. Such a decomposition provides RoboFlamingo the flexibility for open-loop control and deployment on low-performance platforms. By exceeding the state-of-the-art performance with a large margin on the tested benchmark, we show RoboFlamingo can be an effective and competitive alternative to adapt VLMs to robot control. Our extensive experimental results also reveal several interesting conclusions regarding the behavior of different pre-trained VLMs on manipulation tasks. We believe RoboFlamingo has the potential to be a cost-effective and easy-to-use solution for robotics manipulation, empowering everyone with the ability to fine-tune their own robotics policy.

研究动机与目标

• 动机：使用视觉-语言基础模型（VLMs）进行机器人操控，以实现在控制策略中的自然语言对地和视觉-语言理解。
• 提出 RoboFlamingo，这是一个轻量级框架，将视觉-语言理解与决策分离，适用于开环或低资源部署。
• 展示在操作示范上仅微调少量组件即可获得在 CALVIN 上的强性能和泛化能力。

提出的方法

• 以 Flamingo 为基础的 OpenFlamingo 作为骨干，将每步的视觉和语言输入处理为一个联合嵌入。
• 引入一个策略头以建模动作决策，并可通过 LSTM 或其他序列模型捕捉历史。
• 仅微调感知器重采样、解码器中的交叉注意力和策略头，同时冻结其余 VL 模型。
• 采用模仿学习目标训练，结合姿态回归（MSE）和夹持器分类（BCE）。
• 每一步的模型输入是双视图图像和语言指令；输出是 7-DoF 末端执行器位姿和夹持器状态。

实验结果

研究问题

• RQ1 在有限的操控演示上对预训练的视觉-语言模型进行微调后，是否能成为有效的机器人模仿者？
• RQ2 RoboFlamingo 在语言条件操控、零-shot 泛化以及在不同 VL 模型配置下的表现如何？
• RQ3 VL 预训练、模型规模和指令微调对下游机器人任务的影响是什么？

主要发现

• RoboFlamingo 在 CALVIN 的语言条件操控方面，在所测试的设置上超越所有基线。
• 零-shot 视觉和语言泛化表明 RoboFlamingo 能稳健处理未见对象和改写的指令。
• VL 预训练和微调显著提升下游机器人性能，较大模型和指令微调在数据有限时尤具优势。
• 使用具备历史感知的策略头（如 LSTM）优于单步 MLP，突显时间上下文的重要性。
• 开环控制速度更快，但为维持性能可能需要使用跳步演示重新训练。
• 在 10% 的语言注释数据下，较大模型仍显示更高的性能，且指令微调（IFT）带来改进。