[论文解读] Visual Madlibs: Fill in the blank Image Generation and Question Answering

Licheng Yu, Eunbyung Park+2 more|arXiv (Cornell University)|May 31, 2015

Multimodal Machine Learning Applications参考文献 32被引用 80

一句话总结

本文介绍了 Visual Madlibs 数据集，该数据集包含针对 10,738 幅图像的 360,001 个针对性填空描述，利用自动化模板获取关于人物、物体、动作和情境元素的详细描述。本文提出了两个新任务——聚焦描述生成和多项选择图像问答，并对联合嵌入模型与 CNN+LSTM 模型进行了评估，结果显示后者在生成任务中取得更高的 BLEU 分数，而前者在细粒度多项选择 QA 任务中表现更优，尤其是在处理困难负样本时。

ABSTRACT

In this paper, we introduce a new dataset consisting of 360,001 focused natural language descriptions for 10,738 images. This dataset, the Visual Madlibs dataset, is collected using automatically produced fill-in-the-blank templates designed to gather targeted descriptions about: people and objects, their appearances, activities, and interactions, as well as inferences about the general scene or its broader context. We provide several analyses of the Visual Madlibs dataset and demonstrate its applicability to two new description generation tasks: focused description generation, and multiple-choice question-answering for images. Experiments using joint-embedding and deep learning methods show promising results on these tasks.

研究动机与目标

• 开发一种可扩展的自动化方法，利用填空模板收集关于图像的详细、有针对性的自然语言描述。
• 创建一个新数据集 Visual Madlibs，包含 360,001 个描述，涵盖 12 种问题类型，聚焦于外观、动作、互动和情境推断。
• 定义并评估两个新任务：聚焦描述生成和带精细难度控制的多项选择图像问答。
• 对比联合嵌入模型与端到端 CNN+LSTM 序列模型在这些新任务上的性能表现。
• 公开发布数据和基准，以推动基于视觉的语言理解与图像字幕生成的研究进展。

提出的方法

• 自动生成 12 种针对特定视觉属性的填空模板，例如：'The person is [blank]' 用于动作，'The frisbee is [blank]' 用于外观。
• 利用这些模板在 10,738 幅图像上收集 360,001 个描述，由人工标注者完成，确保语言标注具有针对性和聚焦性。
• 为每种问题类型训练一个 CNN+LSTM 模型，通过图像特征和提示前缀（如 'The chair is'）生成描述。
• 使用联合嵌入模型（nCCA）将图像和文本映射到共享空间，实现零样本描述生成和基于余弦相似度的多项选择答案选择。
• 对于多项选择 QA，计算生成描述与候选答案之间的 Word2Vec 余弦相似度，选择最相似者作为预测答案。
• 应用 R-CNN 检测器生成的边界框特征以提升属性预测性能，并与真实边界框和检测到的边界框进行性能对比。

实验结果

研究问题

• RQ1 自动化填空模板能否有效激发对视觉内容的详细、有针对性的描述，包括动作、外观和情境推断？
• RQ2 联合嵌入模型与端到端序列模型在多样化的提问类型下生成聚焦图像描述方面表现如何比较？
• RQ3 通过控制负样本的多项选择问答能否提供一种细致且可靠的图像描述系统评估指标？
• RQ4 使用检测到的边界框作为视觉特征是否能提升属性相关描述任务的性能？
• RQ5 Visual Madlibs 中人工标注的描述在细节和多样性方面与 MS COCO 中的通用图像字幕相比如何？

主要发现

• CNN+LSTM 模型在聚焦描述生成任务中取得了更高的 BLEU-1 和 BLEU-2 分数（例如，'obj pos' 为 0.71，'per loc' 为 0.64），表明其在流畅性和准确性方面更优。
• nCCA 模型在多项选择图像问答任务中表现优于 CNN+LSTM，尤其在困难版本中，全模型在 'scene' 任务上达到 0.52 的准确率，在 'obj aff' 任务上达到 0.56。
• 使用检测到的边界框提升了 nCCA 在属性预测任务中的准确率（例如，'obj aff' 从 0.56 提升至 0.60），但在其他问题类型上未见提升。
• 在人工标注的困难多项选择问题子集（至少 3/5 的 Turkers 一致选择正确答案）中，nCCA 保持了比 CNN+LSTM 更高的准确率，且表现一致。
• Visual Madlibs 数据集包含比 MS COCO 更多细节和情境丰富度的描述，涵盖 12 种不同的问题类型，覆盖动作、外观、情绪和时间推断。
• 在所有问题类型上联合训练的 nCCA 模型（nCCA(all)）在简单多项选择问题上准确率更高，但在细粒度困难版本上表现较差，表明针对特定任务进行微调可能更有效。