[论文解读] Video Language Planning

Yilun Du, Mengjiao Yang+11 more|arXiv (Cornell University)|Oct 16, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

视频语言规划（VLP）是一种基于树搜索的方法，结合视觉语言模型（VLM）作为策略和价值函数，以及文本到视频模型作为动态模型，从语言指令和图像观测中生成长时程、多模态的视频规划。通过随计算预算增加而提升规划质量，该方法在仿真和真实世界平台的复杂机器人任务中实现了最先进（SOTA）的成功率。

ABSTRACT

We are interested in enabling visual planning for complex long-horizon tasks in the space of generated videos and language, leveraging recent advances in large generative models pretrained on Internet-scale data. To this end, we present video language planning (VLP), an algorithm that consists of a tree search procedure, where we train (i) vision-language models to serve as both policies and value functions, and (ii) text-to-video models as dynamics models. VLP takes as input a long-horizon task instruction and current image observation, and outputs a long video plan that provides detailed multimodal (video and language) specifications that describe how to complete the final task. VLP scales with increasing computation budget where more computation time results in improved video plans, and is able to synthesize long-horizon video plans across different robotics domains: from multi-object rearrangement, to multi-camera bi-arm dexterous manipulation. Generated video plans can be translated into real robot actions via goal-conditioned policies, conditioned on each intermediate frame of the generated video. Experiments show that VLP substantially improves long-horizon task success rates compared to prior methods on both simulated and real robots (across 3 hardware platforms).

研究动机与目标

• 通过整合高层语言推理与低层视觉动态建模，解决机器人领域长时程视觉规划的挑战。
• 克服大语言模型（LLMs）和视觉语言模型（VLMs）在物理现实中定位动作以及时间推理方面的局限。
• 利用文本到视频模型对长时间跨度内的物体运动与动态进行建模，实现更逼真的视频回放。
• 通过树搜索实现可扩展、计算高效的规划，随着计算资源增加而提升规划质量。
• 弥合抽象语言规划与具体视觉动态之间的差距，生成可落地、可执行的视频规划，以支持真实机器人部署。

提出的方法

• 使用视觉语言模型（VLM）作为策略，从当前图像和任务指令中生成多个候选下一步文本动作。
• 采用文本到视频模型作为动态模型，为每个候选动作模拟未来的视频回放，生成潜在结果的图像序列。
• 使用相同的VLM作为启发式函数，基于任务进展和视觉合理性评估每个视频回放的有利程度。
• 通过递归扩展最有希望的回放结果执行前向树搜索，维护一个包含多模态（文本与视频）轨迹的搜索树。
• 通过增加搜索深度和分支因子来随计算量提升规划质量，从而更好地探索长时程动作序列。
• 通过基于目标的策略将最终的视频规划转化为机器人动作，该策略以生成视频的中间帧为条件。

Figure 1: Video Language Planning uses forward tree search via vision-language models and text-to-video models to construct long-horizon video plans. From an image observation, the VLM policy (top left) generates next-step text actions, which a video model converts into possible future image sequenc

实验结果

研究问题

• RQ1 视觉语言模型与文本到视频模型能否在树搜索框架中有效结合，以生成长时程、具身化的视频规划？
• RQ2 推理时组合基础模型是否能提升复杂、长时程机器人任务的规划质量与任务成功率？
• RQ3 即使视频模型存在轻微误差，VLP生成的视频规划是否仍能通过基于目标的策略在真实机器人上可靠执行？
• RQ4 在此多模态规划框架中，规划质量如何随计算预算的增加而变化？
• RQ5 在多模态规划框架中，能否有效利用不完整或弱监督的视频-语言数据来训练并改进规划流程？

主要发现

• 与先前方法相比，VLP在三种硬件平台的仿真环境和真实机器人环境中，显著提升了长时程任务的成功率。
• 该方法生成的规划比端到端训练的模型（直接从指令生成长视频）更完整、更连贯。
• 规划质量随计算资源增加而提升：更高的搜索预算带来视觉一致性更好、任务进展更优的高质量视频规划。
• 视频规划展现出更强的具身性，场景动态保持一致，物理上不可能的事件（如物体瞬移）显著减少。
• 当与基于目标的策略结合时，VLP生成的视频规划可成功执行复杂任务，如多物体重排与双臂操作。
• 尽管视频动态存在一些误差（如物体无故出现），整体规划流程在真实部署中仍保持鲁棒且高效。

Figure 2: Long Horizon Video Plan. Long horizon video plans generated by VLP on both simulated and real images. VLP is only given the initial image and language goal . Language subplans and other image frames are directly synthesized .