[论文解读] Unleashing Large-Scale Video Generative Pre-training for Visual Robot Manipulation

Hongtao Wu, Ya Jing+7 more|arXiv (Cornell University)|Dec 20, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 GR-1，一种基于 GPT 的 Transformer 模型，通过大规模视频生成预训练，提升多任务、语言条件下的视觉机器人操作性能。通过在视频预测上进行预训练，并在机器人数据上微调，GR-1 在 CALVIN 基准测试中实现 94.9% 的最先进成功率，在零样本未见场景泛化中达到 85.4%，展现出对未见物体和环境的强大泛化能力。

ABSTRACT

Generative pre-trained models have demonstrated remarkable effectiveness in language and vision domains by learning useful representations. In this paper, we extend the scope of this effectiveness by showing that visual robot manipulation can significantly benefit from large-scale video generative pre-training. We introduce GR-1, a straightforward GPT-style model designed for multi-task language-conditioned visual robot manipulation. GR-1 takes as inputs a language instruction, a sequence of observation images, and a sequence of robot states. It predicts robot actions as well as future images in an end-to-end manner. Thanks to a flexible design, GR-1 can be seamlessly finetuned on robot data after pre-trained on a large-scale video dataset. We perform extensive experiments on the challenging CALVIN benchmark and a real robot. On CALVIN benchmark, our method outperforms state-of-the-art baseline methods and improves the success rate from 88.9% to 94.9%. In the setting of zero-shot unseen scene generalization, GR-1 improves the success rate from 53.3% to 85.4%. In real robot experiments, GR-1 also outperforms baseline methods and shows strong potentials in generalization to unseen scenes and objects. We provide inaugural evidence that a unified GPT-style transformer, augmented with large-scale video generative pre-training, exhibits remarkable generalization to multi-task visual robot manipulation. Project page: https://GR1-Manipulation.github.io

研究动机与目标

• 通过利用大规模视频数据，解决视觉机器人操作中的样本效率与泛化问题。
• 通过统一的预训练与微调范式，克服机器人数据的稀疏性与多模态特性。
• 实现在仿真与真实世界设置下，对未见场景、物体与语言指令的强零样本泛化能力。
• 证明单一 GPT 风格 Transformer 可通过视频生成预训练有效学习多任务视觉操作。
• 提供实证证据表明，视频预测预训练可提升复杂真实世界机器人任务中策略的泛化性与鲁棒性。

提出的方法

• 设计 GR-1 为 GPT 风格的 Transformer 模型，输入包括语言指令、观测图像与机器人状态。
• 在大规模视频数据集上使用视频预测目标对 GR-1 进行预训练，以学习时序与视觉动态。
• 在机器人数据上端到端微调 GR-1，以同时预测机器人动作与未来观测图像帧。
• 采用统一架构进行预训练与微调，实现从视频数据到机器人策略学习的无缝迁移。
• 将多模态输入（语言、图像、机器人状态）整合为兼容自回归建模的单一序列输入格式。
• 利用视频预测信号作为强归纳偏置，以提升动作预测与泛化能力。

Figure 1: Overview of GR-1. GR-1 is first pre-trained on the task of video prediction with a large-scale video dataset. It is then finetuned on robot data to learn multi-task visual robot manipulation.

实验结果

研究问题

• RQ1 大规模视频生成预训练能否提升多任务视觉机器人操作中的零样本泛化能力？
• RQ2 在低数据与未见场景设置下，视频数据预训练对机器人操作性能有何影响？
• RQ3 统一的 GPT 风格 Transformer 模型在多样化操作任务与语言指令上的泛化能力达到何种程度？
• RQ4 视频预测预训练是否能增强在真实世界环境中对干扰物与分布外物体实例的鲁棒性？
• RQ5 GR-1 在成功率、泛化能力与样本效率方面与最先进方法相比如何？

主要发现

• 在 CALVIN 基准测试中，GR-1 将标准评估下的成功率从 SOTA 基线的 88.9% 提升至 94.9%。
• 在零样本未见场景泛化中，GR-1 实现 85.4% 的成功率，远超最佳基线的 53.3%。
• 仅使用完整机器人数据集的 10% 时，GR-1 达到 77.8% 的成功率，超过最佳基线的 66.8%。
• GR-1 对未见物体实例具有良好的泛化能力，即使在运输如茄子与西兰花等新型蔬菜时也保持高成功率。
• 在最具挑战性的未见物体类别设置中，GR-1 仍保持强劲性能，尽管偶有混淆（如甜椒与桃子因颜色相似而误判）。
• 在真实世界实验中，GR-1 在物体运输与可动物体操作任务中均优于 RT-1 与 MT-R3M，展现出对场景干扰与分布外条件的鲁棒性。

Figure 2: Encoders and Decoders. (a) Language encoder. (b) Robot state encoder. (c) Image encoder. (d) Image decoder. (e) Action decoder.