[论文解读] Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows

Keisuke Shirai, Atsushi Hashimoto+5 more|arXiv (Cornell University)|Sep 13, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了视觉食谱流程（VRF），这是一个多模态数据集，通过基于食谱流程图（r-FG）的图像对捕捉烹饪过程中物体状态的变化。该数据集支持学习特定动作的视觉结果，在结合动作动词与动作前图像时，多模态检索的Recall@5达到37.01%。

ABSTRACT

We present a new multimodal dataset called Visual Recipe Flow, which enables us to learn each cooking action result in a recipe text. The dataset consists of object state changes and the workflow of the recipe text. The state change is represented as an image pair, while the workflow is represented as a recipe flow graph (r-FG). The image pairs are grounded in the r-FG, which provides the cross-modal relation. With our dataset, one can try a range of applications, from multimodal commonsense reasoning and procedural text generation.

研究动机与目标

• 通过追踪物体状态变化，使自主智能体能够预测烹饪动作的视觉结果。
• 解决指令级视觉标注的局限性，后者无法捕捉单个句子中的多种动作结果。
• 提供基于食谱工作流程的密集、动作级视觉标注，以提升多模态理解能力。
• 支持利用视觉和文本数据进行多模态常识推理与程序化文本生成的应用。
• 创建一个高质量标注的基准数据集，用于评估视觉-语言模型在程序理解任务上的表现。

提出的方法

• 使用带有食谱命名实体（r-NE）的食谱文本，以识别动作、食材和工具。
• 构建食谱流程图（r-FG），以表示动作之间的依赖关系，展示每一步的输入和输出状态。
• 针对每个动作，收集图像对以表示物体的动作前和动作后状态，并在r-FG中进行定位。
• 由人工标注员执行视觉标注，通过标注者间一致性检查确保标注的一致性。
• 该数据集包含3,824张唯一图像、623个r-NE、616个食谱流程和1,990个视觉状态变化，覆盖100道食谱。
• 采用联合嵌入模型在多模态检索任务上评估数据集，结合文本动作动词与视觉动作前状态。

实验结果

研究问题

• RQ1 能否通过图像对有效捕捉并定位食谱工作流程中的视觉状态变化？
• RQ2 视觉-语言模型在多大程度上能利用视觉和文本输入来预测动作后的物体状态？
• RQ3 与仅使用文本或仅使用图像的基线相比，视觉标注在多模态检索性能上的提升程度如何？
• RQ4 不同标注者之间的人工标注视觉状态变化是否具有一致性和可靠性？
• RQ5 r-FG结构在提升程序化文本生成与推理的一致性和连贯性方面是否具有增强作用？

主要发现

• 食谱命名实体（r-NE）的标注者间一致性F-measure达到98.40，表明一致性近乎完美。
• r-FG标注的F-measure为86.11，尽管依赖关系建模复杂，仍显示出高度可靠性。
• 视觉标注的一致性F-measure为72.80，考虑到对先前标注错误的高度敏感性，该结果仍属强劲。
• 联合嵌入模型在结合动作动词与动作前图像时，Recall@5达到37.01%，优于仅使用文本（2.37%）和仅使用图像（21.24%）的基线。
• 结合多模态输入后，中位排名（MedR）降至10.40，表明检索精度得到提升。
• 结果证实，视觉模态为预测动作后视觉状态提供了关键且互补的信息。