[论文解读] Multimodal Procedural Planning via Dual Text-Image Prompting

Yujie Lu, Pan Lu+4 more|arXiv (Cornell University)|May 2, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了多模态程序规划（MPP），这是一种新型任务，旨在为人类引导的任务完成生成配对的图文计划。该研究提出文本-图像提示（TIP）框架，一种结合大语言模型（LLMs）与扩散模型的双模态方法，通过双向桥梁（T2I-B 和 I2T-B）增强跨模态对齐，从而生成比单模态或基线多模态方法更具信息量、时间上更连贯且更准确的计划。该方法在新收集的 WikiPlan 和 RecipePlan 数据集上表现优异。

ABSTRACT

Embodied agents have achieved prominent performance in following human instructions to complete tasks. However, the potential of providing instructions informed by texts and images to assist humans in completing tasks remains underexplored. To uncover this capability, we present the multimodal procedural planning (MPP) task, in which models are given a high-level goal and generate plans of paired text-image steps, providing more complementary and informative guidance than unimodal plans. The key challenges of MPP are to ensure the informativeness, temporal coherence,and accuracy of plans across modalities. To tackle this, we propose Text-Image Prompting (TIP), a dual-modality prompting method that jointly leverages zero-shot reasoning ability in large language models (LLMs) and compelling text-to-image generation ability from diffusion-based models. TIP improves the interaction in the dual modalities using Text-to-Image Bridge and Image-to-Text Bridge, allowing LLMs to guide the textual-grounded image plan generation and leveraging the descriptions of image plans to ground the textual plan reversely. To address the lack of relevant datasets, we collect WIKIPLAN and RECIPEPLAN as a testbed for MPP. Our results show compelling human preferences and automatic scores against unimodal and multimodal baselines on WIKIPLAN and RECIPEPLAN in terms of informativeness, temporal coherence, and plan accuracy. Our code and data: https://github.com/YujieLu10/MPP.

研究动机与目标

• 解决多模态指令（文本与图像）在引导人类任务完成方面尚未被充分探索的潜力。
• 识别多模态程序化规划中的关键挑战：信息量、时间连贯性与跨模态准确性。
• 提出一种新颖的双模态提示框架（TIP），整合大语言模型与文本到图像扩散模型。
• 构建并发布两个新的基准数据集 WikiPlan 与 RecipePlan，用于评估多模态程序化规划。
• 证明 TIP 在自动评估与人工评估中均显著优于单模态与多模态基线方法。

提出的方法

• 提出文本-图像提示（TIP），一种双模态提示框架，联合利用大语言模型与文本到图像（T2I）扩散模型进行程序化规划。
• 实现文本到图像桥梁（T2I-B），利用大语言模型为 T2I 模型生成复杂且对齐的文本提示，以生成信息量丰富的图像计划。
• 引入图像到文本桥梁（I2T-B），将生成的图像计划进行语言化并反馈至大语言模型，以优化和对齐文本计划。
• 在大语言模型中使用零样本推理生成初始文本计划，随后通过 I2T-B 提供的视觉反馈迭代优化。
• 在计划生成过程中同时考虑文本与图像模态的上下文信息，以确保时间连贯性。
• 收集并发布两个新数据集 WikiPlan 与 RecipePlan，用于以人工标注的图文计划对进行 MPP 基准测试。

Figure 3: T2I-B elicits visual imagination in LLM to generate explicit scene description (imagination prompt) for text-to-image model conditioned on the vanilla plan.

实验结果

研究问题

• RQ1 多模态程序化计划（图文步骤配对）是否能为人类任务完成提供比单模态计划更具信息量和更高准确性的指导？
• RQ2 如何有效协调大语言模型与 T2I 模型，以生成跨模态对齐且时间连贯的计划？
• RQ3 双向桥梁（T2I-B 与 I2T-B）对提升多模态计划的信息量与对齐程度有何影响？
• RQ4 在零样本设置下，TIP 与单模态及多模态基线相比，在计划质量方面表现如何？
• RQ5 所提出的 WikiPlan 与 RecipePlan 数据集在多大程度上支持对多模态程序化规划的可靠评估？

主要发现

• 在图文计划准确性的人工对比评估中，TIP 在与基于步骤的基线（S-Base）的对抗测试中取得了 58% 的胜率，证明其持续改进。
• 当移除图像到文本桥梁（I2T-B）时，WikiPlan 上文本计划质量下降 37.5%，RecipePlan 上下降 35.4%，证明其在对齐文本计划中的关键作用。
• 文本到图像桥梁（T2I-B）在平均 FID 得分上提升 1.7%，对齐度提升 2.6%，表明其在生成更准确、更对齐的图像计划方面的有效性。
• 基于流程的 TIP 方法在与基于步骤的 TIP 对比中取得了 60% 的胜率，表明整体规划能提升连贯性与意图理解。
• 人工评估显示，TIP 生成的计划在信息量、连贯性与准确性方面均显著优于基线。
• 新发布的 WikiPlan 与 RecipePlan 数据集为多模态程序化规划提供了可靠的基准，其包含高质量、人工标注的图文计划对。

(a) w. T2I-B