[论文解读] VIVO: Visual Vocabulary Pre-Training for Novel Object Captioning

Xiaowei Hu, Xi Yin+5 more|arXiv (Cornell University)|Sep 28, 2020

Multimodal Machine Learning Applications参考文献 53被引用 16

一句话总结

本文提出 VIVO，一种视觉词汇预训练方法，通过使用匈牙利匹配损失的掩码标签预测任务，从图像-标签对中学习跨模态表征，而无需依赖图像-标题注释。在大规模图像-标签数据上进行预训练，使模型在图像字幕生成任务中实现最先进（SOTA）的零样本泛化能力，其在 nocaps 基准测试中的 CIDEr 得分为 77.8，超越人类表现。

ABSTRACT

It is highly desirable yet challenging to generate image captions that can describe novel objects which are unseen in caption-labeled training data, a capability that is evaluated in the novel object captioning challenge (nocaps). In this challenge, no additional image-caption training data, other thanCOCO Captions, is allowed for model training. Thus, conventional Vision-Language Pre-training (VLP) methods cannot be applied. This paper presents VIsual VOcabulary pretraining (VIVO) that performs pre-training in the absence of caption annotations. By breaking the dependency of paired image-caption training data in VLP, VIVO can leverage large amounts of paired image-tag data to learn a visual vocabulary. This is done by pre-training a multi-layer Transformer model that learns to align image-level tags with their corresponding image region features. To address the unordered nature of image tags, VIVO uses a Hungarian matching loss with masked tag prediction to conduct pre-training. We validate the effectiveness of VIVO by fine-tuning the pre-trained model for image captioning. In addition, we perform an analysis of the visual-text alignment inferred by our model. The results show that our model can not only generate fluent image captions that describe novel objects, but also identify the locations of these objects. Our single model has achieved new state-of-the-art results on nocaps and surpassed the human CIDEr score.

研究动机与目标

• 解决在图像-字幕训练数据中未见的新物体生成字幕的挑战。
• 克服传统视觉-语言预训练（VLP）依赖成对图像-标题数据的局限性。
• 利用大规模弱监督图像-标签数据预训练视觉词汇，以提升泛化能力。
• 通过预训练的视觉-语义嵌入空间，实现对图像字幕中新视觉概念的零样本泛化。
• 在 nocaps 基准测试中实现最先进性能，超越人类 CIDEr 得分。

提出的方法

• 在大规模图像-标签对上预训练多层 Transformer 模型，以学习联合视觉-文本嵌入空间。
• 使用掩码标签预测作为预训练目标，即掩码一个或多个标签，并基于图像区域特征和未掩码标签进行预测。
• 应用匈牙利匹配损失以处理图像标签的无序性，确保预测标签与真实标签之间的正确对齐。
• 训练模型将语义相似的对象（如 'person' 和 'man'）映射到视觉词汇空间中相近的向量表示。
• 在 COCO 图像-字幕对上微调预训练模型，以生成流畅且有依据的字幕。
• 在推理时使用单一模型，实现对微调阶段未见过的新物体的零样本字幕生成。

实验结果

研究问题

• RQ1 能否在不使用图像-标题注释的情况下，从图像-标签对中有效学习视觉词汇？
• RQ2 在大规模图像-标签数据上进行预训练是否能提升图像字幕生成中对新物体的零样本泛化能力？
• RQ3 使用掩码标签预测时，匈牙利匹配损失在学习无序视觉-文本对齐方面有多有效？
• RQ4 在弱监督图像-标签数据上预训练的模型是否能在 nocaps 基准测试中超越现有方法？
• RQ5 视觉词汇的规模（标签类别数量）在多大程度上影响下游字幕生成性能？

主要发现

• VIVO 预训练显著提升了在 nocaps 基准测试中的图像字幕生成性能，CIDEr 得分为 77.8，超越人类 CIDEr 得分。
• 在预训练中使用 6.4K 个标签类别，相比无预训练的基线模型，CIDEr 提升了 6.9%，证明了更大视觉词汇的优越性。
• 结合掩码标签预测的匈牙利匹配损失优于单标记掩码和无匈牙利匹配方法，CIDEr 提升 2.9 分。
• 模型实现了强大的零样本泛化能力，能准确描述微调阶段未见过的图像中的新物体，如 'accordion'。
• 预训练过程中学习到的视觉词汇将语义相似的对象映射到相近的向量表示中，支持组合式泛化。
• 即使在 COCO（视觉概念有限）上进行微调，VIVO 预训练模型仍能有效泛化到包含多样化、开放词汇的 nocaps 测试集。