[论文解读] The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA)

Andrew Shin, Yoshitaka Ushiku+1 more|arXiv (Cornell University)|Sep 21, 2016

Multimodal Machine Learning Applications参考文献 25被引用 10

一句话总结

本文提出了FSVQA，一个基于规则的自然语言转换方法从原始VQA和MS COCO字幕数据集生成的100万条全句视觉问答样本的数据集。研究通过结合图像和问题特征构建基线模型，表明联合视觉-语言建模显著优于单模态基线模型，FSVQA在验证集上的准确率达到64.3%。

ABSTRACT

Visual Question Answering (VQA) task has showcased a new stage of interaction between language and vision, two of the most pivotal components of artificial intelligence. However, it has mostly focused on generating short and repetitive answers, mostly single words, which fall short of rich linguistic capabilities of humans. We introduce Full-Sentence Visual Question Answering (FSVQA) dataset, consisting of nearly 1 million pairs of questions and full-sentence answers for images, built by applying a number of rule-based natural language processing techniques to original VQA dataset and captions in the MS COCO dataset. This poses many additional complexities to conventional VQA task, and we provide a baseline for approaching and evaluating the task, on top of which we invite the research community to build further improvements.

研究动机与目标

• 为解决现有VQA数据集仅关注简短单字词答案的局限性，此类答案无法充分体现人类语言的完整表达力。
• 提出一个大规模、公开可用的全句答案视觉问答数据集，以支持更自然、更复杂的语言生成。
• 使用多模态特征建立FSVQA的基线模型，并通过标准NLP指标和上下文感知准确率度量评估性能。
• 鼓励研究社区开发更有效的模型，以生成语言丰富且上下文准确的视觉问答答案。

提出的方法

• 利用基于规则的自然语言处理，通过时态、主谓一致和情态动词转换，将原始VQA问题和答案转换为全句答案。
• 应用语言学规则将MS COCO字幕转换为问题-答案对，通过多样化、自然语言的查询扩展数据集。
• 通过整合转换后的VQA数据与基于字幕生成的QA对，构建了近100万张图像-问题-答案三元组的数据集。
• 使用ResNet提取图像特征，LSTM提取问题特征，训练一个融合多模态特征的模型以生成全句答案。
• 使用标准图像字幕评估指标（BLEU、METEOR、CIDEr）评估模型性能，并引入两种新指标：VQA准确率（原始短答案是否出现）和FSVQA准确率（与真实答案的句子级匹配）。
• 采用混合评估策略：在原始VQA子集上评估VQA准确率，在完整FSVQA数据集上评估FSVQA准确率，以确保答案的上下文正确性。

实验结果

研究问题

• RQ1 基于规则的语言转换能否有效从现有VQA和字幕数据中生成多样化、语法正确的全句答案？
• RQ2 当仅使用图像特征、仅使用问题特征或同时使用两者时，多模态模型在全句VQA任务中的性能表现如何变化？
• RQ3 标准NLP评估指标（如BLEU和CIDEr）与人类标注的答案正确性在全句VQA任务中的相关性有多大？
• RQ4 VQA准确率（原始短答案是否出现）和FSVQA准确率（句子级匹配）能否作为全句VQA任务中可靠且互补的评估指标？
• RQ5 增加答案多样性（尤其是从1000个增加到40,000个唯一答案）对模型泛化能力和性能有何影响？

主要发现

• FSVQA数据集包含近100万张图像-问题-答案三元组，其唯一答案数量约为原始VQA数据集的40倍。
• 使用图像和问题特征的基线模型在验证集上达到64.3%的FSVQA准确率，显著优于单模态基线模型。
• 仅使用问题特征的模型表现与多模态模型相当，表明当忽略视觉上下文时，该任务退化为语义问答任务。
• 仅使用图像特征的模型表现较差，最高仅能达到每张图像1/k的准确率（k为每张图像对应的问题数），原因在于缺乏与问题相关的语境定位。
• VQA准确率与FSVQA准确率表现出互补优势：VQA准确率可检测到正确的语义内容，而FSVQA准确率则确保了上下文和句法的正确性。
• 结果表明，全句VQA任务远比标准VQA复杂，需要超越简单分类的联合视觉与语言理解能力。