[论文解读] TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation

Jun Wang, Mingfei Gao+6 more|arXiv (Cornell University)|Aug 3, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出TAG，一种文本感知的视觉问答生成框架，通过多模态Transformer模型从图像中未充分利用的场景文本中合成高质量、多样化的QA对，生成的问题基于OCR标记内容。通过将这些合成QA对加入现有的Text-VQA数据集，TAG在无需额外人工标注的情况下显著提升了TextVQA和ST-VQA模型的性能，实现了SOTA结果，甚至超越了在大规模外部数据上预训练的模型。

ABSTRACT

Text-VQA aims at answering questions that require understanding the textual cues in an image. Despite the great progress of existing Text-VQA methods, their performance suffers from insufficient human-labeled question-answer (QA) pairs. However, we observe that, in general, the scene text is not fully exploited in the existing datasets -- only a small portion of the text in each image participates in the annotated QA activities. This results in a huge waste of useful information. To address this deficiency, we develop a new method to generate high-quality and diverse QA pairs by explicitly utilizing the existing rich text available in the scene context of each image. Specifically, we propose, TAG, a text-aware visual question-answer generation architecture that learns to produce meaningful, and accurate QA samples using a multimodal transformer. The architecture exploits underexplored scene text information and enhances scene understanding of Text-VQA models by combining the generated QA pairs with the initial training data. Extensive experimental results on two well-known Text-VQA benchmarks (TextVQA and ST-VQA) demonstrate that our proposed TAG effectively enlarges the training data that helps improve the Text-VQA performance without extra labeling effort. Moreover, our model outperforms state-of-the-art approaches that are pre-trained with extra large-scale data. Code is available at https://github.com/HenryJunW/TAG.

研究动机与目标

• 为解决现有Text-VQA数据集中QA对标注稀疏的问题，这些数据集未能充分利用图像中丰富的场景文本。
• 开发一种方法，利用尚未被充分探索的场景文本生成多样化、高质量的QA对，且无需人工标注。
• 通过基于OCR标记和视觉上下文生成的合成QA样本扩充训练数据，提升Text-VQA模型的性能。
• 证明通过文本感知生成进行数据增强可超越在大规模外部数据上预训练的模型。

提出的方法

• TAG采用多模态Transformer架构，输入包括答案（一个OCR标记）、检测到的物体视觉特征以及场景文本嵌入，以生成语境相关的提问。
• 模型在已标注的QA对上进行训练，并微调以生成新的QA对，使用原始标注中未涉及的OCR标记作为输入。
• 通过选择具有最大边界框的OCR标记作为答案候选，优化输入答案的选择，以在质量与训练效率之间取得平衡。
• 该框架将QA生成与下游VQA训练解耦，实现可扩展的数据扩展。
• 利用目标检测和OCR输出的视觉-语义特征，确保生成问题的相关性与事实一致性。
• 该方法应用于TextVQA和ST-VQA，其中生成的QA对与原始训练数据合并，用于微调当前最先进的VQA模型。

实验结果

研究问题

• RQ1 能否在无需人工标注的情况下，利用图像中未被充分利用的场景文本生成高质量、多样化的Text-VQA QA对？
• RQ2 与在大规模数据上预训练的模型相比，文本感知的QA生成在提升下游Text-VQA性能方面有多有效？
• RQ3 视觉物体、OCR标记以及答案选择策略对生成QA对质量的贡献分别是什么？
• RQ4 通过TAG进行合成数据增强是否能超越依赖大规模预训练的现有SOTA方法？

主要发现

• 当使用答案、物体和OCR输入时，TAG在受限设置下的TextVQA验证准确率达到52.54%，优于任何模态缺失的消融实验。
• 与使用140万条额外预训练样本的TAP相比，TAG在ST-VQA上的准确率提升2.70个百分点，ANLS提升0.022。
• 使用前三大最大OCR标记作为答案候选，相比仅使用最大标记的策略，性能提升0.19%，但训练时间增加。
• 消融实验证实，答案、物体和OCR三种模态均不可或缺，当同时移除视觉和文本模态时，性能下降最高达3.78%。
• TAG在ST-VQA测试集上达到0.602的ANLS分数，创下新SOTA，且无需额外预训练或模型修改。
• 该方法在两个基准测试上均显著优于M4C和TAP，证明合成数据生成可超越在大规模外部数据上训练的模型。