[论文解读] Self-Supervised VQA: Answering Visual Questions using Images and Captions.

Pratyay Banerjee, Tejas Gokhale+2 more|arXiv (Cornell University)|Dec 4, 2020

Multimodal Machine Learning Applications参考文献 73被引用 6

一句话总结

本文提出了一种自监督视觉问答（VQA）框架，仅使用图像和描述性字幕进行模型训练，无需人工标注的问题-答案对。通过模板和QASRL生成合成的Q-A对，并使用空间金字塔图像块代替目标检测器，该方法在VQA-v2、GQA以及特别是VQA-CP上取得了优异性能，在后者上超越了先前的监督方法，并在无需昂贵目标检测标注的情况下达到了最先进水平。

ABSTRACT

Methodologies for training VQA models assume the availability of datasets with human-annotated Image-Question-Answer(I-Q-A) triplets for training. This has led to a heavy reliance and overfitting on datasets and a lack of generalization to new types of questions and scenes. Moreover, these datasets exhibit annotator subjectivity, biases, and errors, along with linguistic priors, which percolate into VQA models trained on such samples. We study whether models can be trained without any human-annotated Q-A pairs, but only with images and associated text captions which are descriptive and less subjective. We present a method to train models with procedurally generated Q-A pairs from captions using techniques, such as templates and annotation frameworks like QASRL. As most VQA models rely on dense and costly object annotations extracted from object detectors, we propose spatial-pyramid image patches as a simple but effective alternative to object bounding boxes, and demonstrate that our method uses fewer human annotations. We benchmark on VQA-v2, GQA, and on VQA-CP which contains a softer version of label shift. Our methods surpass prior supervised methods on VQA-CP and are competitive with methods without object features in fully supervised setting.

研究动机与目标

• 减少对昂贵、存在偏见且易受语言先验影响的人工标注图像-问题-答案三元组的依赖。
• 探究是否可仅使用图像和描述性字幕有效训练模型，从而避免标注偏差。
• 通过引入空间金字塔图像块作为轻量级替代方案，最小化对昂贵目标检测器的依赖。
• 通过减少对特定数据集的过拟合，提升模型对分布外问题和场景的泛化能力。

提出的方法

• 利用模板化方法和QASRL标注框架，从图像字幕生成合成的问题-答案对。
• 使用空间金字塔图像块作为视觉表征，替代目标检测器输出，降低标注成本。
• 仅使用图像-字幕对和程序化生成的Q-A数据，端到端训练VQA模型。
• 利用字幕的结构生成多样化且语义上合理的提问，以反映视觉内容。
• 在自监督预训练过程中应用数据增强和掩码策略，以提升鲁棒性和泛化能力。
• 在下游VQA基准（如VQA-v2、GQA和VQA-CP）上微调自监督模型，无需进一步的人工标注Q-A对。

实验结果

研究问题

• RQ1 是否可以完全不依赖人工标注的问题-答案对，仅使用图像和字幕有效训练VQA模型？
• RQ2 在标准基准上评估时，自监督VQA模型的性能与监督基线相比如何？
• RQ3 空间金字塔图像块在准确率和标注效率方面，与基于目标检测器的特征相比，优势有多大？
• RQ4 由于未使用人工标注的Q-A对，是否能有效降低模型偏差并提升对分布外问题的泛化能力？
• RQ5 从字幕中衍生出的合成Q-A对是否能在VQA-CP上取得具有竞争力的结果，该数据集用于测试模型对分布偏移的鲁棒性？

主要发现

• 所提出的自监督方法在VQA-CP基准上超越了先前的监督方法，表明其对分布偏移具有更强的鲁棒性。
• 该模型在VQA-v2和GQA上也取得了具有竞争力的性能，证明其在不依赖目标检测器特征的情况下仍具备强大的泛化能力。
• 使用空间金字塔图像块显著降低了对昂贵目标检测标注的依赖，同时保持了高性能。
• 该方法通过避免直接在Q-A对上进行监督，有效缓解了人工标注数据集中存在的偏差。
• 从字幕生成的合成Q-A对能够产生多样化且语义上有效的提问，支持高效的预训练。
• 该方法在未见的问题类型和视觉概念上泛化良好，表明其对训练数据偏差的过拟合程度较低。