[论文解读] RoboDreamer: Learning Compositional World Models for Robot Imagination

Siyuan Zhou, Yilun Du+4 more|arXiv (Cornell University)|Apr 18, 2024

Reinforcement Learning in Robotics被引用 4

一句话总结

RoboDreamer 引入了一种组合式世界模型，通过自然语言解析来分解视频生成过程，从而在机器人规划中实现对未见过的对象与动作组合的零样本泛化。通过将独立的扩散模型分别基于解析后的语言基元和多模态目标（例如图像、草图）进行条件控制，该方法实现了与复杂指令的更优对齐，并在基于仿真的机器人执行中优于单一结构的视频生成基线模型。

ABSTRACT

Text-to-video models have demonstrated substantial potential in robotic decision-making, enabling the imagination of realistic plans of future actions as well as accurate environment simulation. However, one major issue in such models is generalization -- models are limited to synthesizing videos subject to language instructions similar to those seen at training time. This is heavily limiting in decision-making, where we seek a powerful world model to synthesize plans of unseen combinations of objects and actions in order to solve previously unseen tasks in new environments. To resolve this issue, we introduce RoboDreamer, an innovative approach for learning a compositional world model by factorizing the video generation. We leverage the natural compositionality of language to parse instructions into a set of lower-level primitives, which we condition a set of models on to generate videos. We illustrate how this factorization naturally enables compositional generalization, by allowing us to formulate a new natural language instruction as a combination of previously seen components. We further show how such a factorization enables us to add additional multimodal goals, allowing us to specify a video we wish to generate given both natural language instructions and a goal image. Our approach can successfully synthesize video plans on unseen goals in the RT-X, enables successful robot execution in simulation, and substantially outperforms monolithic baseline approaches to video generation.

研究动机与目标

• 为了解决现有文本到视频模型在机器人领域中零样本泛化能力差的问题，这些模型在面对未见过的对象与动作组合时会失效。
• 通过将自然语言指令分解为空间和动作基元，实现在视频生成中的组合式推理。
• 将视频生成扩展至多模态条件控制，包括目标图像和草图，以实现更丰富的任务描述。
• 通过在仿真中生成准确且与任务对齐的视频轨迹，提升机器人规划与执行性能。
• 克服单一结构视频扩散模型无法泛化到训练中未见组合的局限性。

提出的方法

• 该方法使用文本解析器将自然语言指令分解为离散组件——动作和空间关系，以实现组合式控制。
• 它将一组扩散模型基于这些解析后的组件进行条件控制，使每个模型能够专门生成视频的特定方面（例如，物体运动、空间布局）。
• 目标图像和草图等多模态目标被编码，并与语言组件联合条件控制，以引导视频生成。
• 该框架在推理阶段支持对语言和多模态输入组合的零样本组合生成，即使这些组合在训练中未出现过。
• 它利用预训练的文本到视频模型，并通过一种因子化、模块化的架构进行微调，将生成过程解耦为可解释的组件。
• 该系统在机器人操作数据上端到端进行训练，推理阶段支持灵活的、多模态条件控制的视频合成。

实验结果

研究问题

• RQ1 组合式视频生成框架是否能泛化到训练期间未见过的对象与动作组合？
• RQ2 将语言指令分解为基元是否能提升机器人视频生成中的零样本泛化能力？
• RQ3 目标图像和草图等多模态输入能否有效集成到组合式视频生成流程中？
• RQ4 RoboDreamer 在 sim-to-real 机器人规划中与单一结构的文本到视频模型相比表现如何？
• RQ5 当同时基于语言和视觉目标规范进行条件控制时，该模型在生成准确且与任务对齐的视频计划方面的能力如何？

主要发现

• RoboDreamer 在生成与任务相关的视频计划方面，与复杂多模态指令的对齐效果极佳，显著优于 UniPi 和 AVDC 等单一结构基线模型。
• 该模型能有效泛化到未见过的语言组件组合，在新型对象-动作配对上展现出零样本能力。
• 在仿真环境中，RoboDreamer 成功实现了对未见任务的机器人执行，验证了其在规划与策略学习中的实用性。
• 目标图像和草图的集成提升了生成视频的精确度，减少了空间关系的歧义。
• RoboDreamer 在生成与语言意图和视觉目标配置均匹配的视频方面，优于基线模型。
• 该框架对新型多模态输入表现出鲁棒性，即使语言与图像的配对组合在训练中未出现过亦能有效工作。