[论文解读] Zero-Shot Visual Question Answering

Damien Teney, Anton van den Hengel|arXiv (Cornell University)|Nov 17, 2016

Multimodal Machine Learning Applications参考文献 19被引用 58

一句话总结

本文提出了零样本视觉问答（ZS-VQA）这一新的评估设置，其中测试问题包含训练过程中未出现过的词汇，从而暴露了当前VQA模型对数据集偏差的依赖性所带来的局限性。作者提出并评估了多种策略，包括使用预训练词嵌入、语义物体嵌入、测试时样本检索、顺序感知特征交互以及数据增强，最终在标准设置与零样本设置下均取得了当前最优性能。

ABSTRACT

Part of the appeal of Visual Question Answering (VQA) is its promise to answer new questions about previously unseen images. Most current methods demand training questions that illustrate every possible concept, and will therefore never achieve this capability, since the volume of required training data would be prohibitive. Answering general questions about images requires methods capable of Zero-Shot VQA, that is, methods able to answer questions beyond the scope of the training questions. We propose a new evaluation protocol for VQA methods which measures their ability to perform Zero-Shot VQA, and in doing so highlights significant practical deficiencies of current approaches, some of which are masked by the biases in current datasets. We propose and evaluate several strategies for achieving Zero-Shot VQA, including methods based on pretrained word embeddings, object classifiers with semantic embeddings, and test-time retrieval of example images. Our extensive experiments are intended to serve as baselines for Zero-Shot VQA, and they also achieve state-of-the-art performance in the standard VQA evaluation setting.

研究动机与目标

• 定义并评估一种新的ZS-VQA设置，其中测试问题包含训练数据中未出现过的词汇，以揭示当前VQA模型在泛化能力上的缺陷。
• 强调现有VQA方法对数据集偏差（如频繁出现的答案模式）的过度依赖，这种依赖掩盖了其真实视觉理解能力的不足。
• 开发并评估能够通过利用预训练表征和测试时视觉样本检索来提升零样本泛化能力的策略。
• 证明ZS-VQA性能的提升也能带来在标准VQA基准上的当前最优表现，验证所提方法的广泛适用性。

提出的方法

• 重新组织Visual7W数据集，划分为新的训练与测试划分，以隔离包含未见词汇的问题或答案的测试样本。
• 使用预训练词嵌入以及来自YOLO的目标检测语义嵌入，以提升对未见概念的泛化能力。
• 引入顺序嵌入，显式建模图像与问题特征之间的交互顺序，从而改善兼容性学习。
• 通过在训练过程中生成合成的错误答案对来实施数据增强，以提升模型的鲁棒性与泛化能力。
• 在测试时通过图像搜索检索视觉样本（示例），为未见词汇提供上下文支持，并对问题与答案均使用视觉嵌入。
• 将多种策略——包括语义嵌入、样本检索、顺序嵌入与数据增强——整合为统一模型，以实现最优性能。

实验结果

研究问题

• RQ1 当评估问题包含训练过程中从未出现过的词汇时，当前VQA模型的表现如何？这揭示了其泛化能力的哪些问题？
• RQ2 数据集偏差（如频繁出现的答案模式）在多大程度上使得模型在标准基准上表现优异，而实际上缺乏真正的视觉理解能力？
• RQ3 辅助信息（如预训练词嵌入、目标检测结果或测试时检索的样本）能否提升零样本VQA的性能？
• RQ4 在图像与问题表征之间引入顺序感知的特征交互，是否能超越对称交互方式，实现更好的泛化能力？
• RQ5 通过合成错误答案对进行数据增强，能否提升模型的鲁棒性与零样本泛化能力？

主要发现

• 所提出的ZS-VQA评估设置能有效暴露当前VQA模型在泛化能力上的缺陷，当测试问题中出现未见词汇时，性能显著下降。
• 测试时检索视觉样本能显著提升ZS-VQA性能，尤其当问题与答案均使用视觉嵌入时，性能增益与检索质量呈正相关。
• 顺序嵌入优于对称特征交互，当顺序被颠倒时性能显著下降，证实了结构建模的重要性。
• 通过合成错误答案对进行数据增强带来了可测量的性能提升，尤其在ZS设置下，表明模型对未见答案分布的泛化能力得到增强。
• 综合运用所有所提策略的模型在标准Visual7W基准与新的ZS-VQA划分上均取得了当前最优性能，验证了该方法的有效性。
• 性能随训练数据减少而平滑下降，尤其在ZS设置下更为明显，表明模型具备强大的泛化能力与对数据稀缺的鲁棒性。