[论文解读] Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods

Aditya Mogadala, Marimuthu Kalimuthu+1 more|arXiv (Cornell University)|Jul 22, 2019

Multimodal Machine Learning Applications参考文献 423被引用 87

一句话总结

本综述对十个关键的视觉-语言融合任务进行了全面分析，回顾了其任务定义、数据集、方法、评估指标及最先进结果。该综述整合了多模态表征学习的进展，特别是视觉-语言预训练技术，并指出了实现更鲁棒、可泛化的多模态人工智能系统所面临的开放性挑战与未来研究方向。

ABSTRACT

Interest in Artificial Intelligence (AI) and its applications has seen unprecedented growth in the last few years. This success can be partly attributed to the advancements made in the sub-fields of AI such as machine learning, computer vision, and natural language processing. Much of the growth in these fields has been made possible with deep learning, a sub-area of machine learning that uses artificial neural networks. This has created significant interest in the integration of vision and language. In this survey, we focus on ten prominent tasks that integrate language and vision by discussing their problem formulation, methods, existing datasets, evaluation measures, and compare the results obtained with corresponding state-of-the-art methods. Our efforts go beyond earlier surveys which are either task-specific or concentrate only on one type of visual content, i.e., image or video. Furthermore, we also provide some potential future directions in this field of research with an anticipation that this survey stimulates innovative thoughts and ideas to address the existing challenges and build new applications.

研究动机与目标

• 提供对十项突出的视觉-语言融合任务的统一、深入综述，超越狭窄的任务特定性回顾。
• 系统比较这些任务在现有数据集、评估指标和最先进方法方面的异同。
• 分析联合视觉-语言预训练在提升下游多模态任务性能中的作用与有效性。
• 识别视觉-语言融合中的持续局限性与开放性挑战，尤其是在泛化与推理方面。
• 通过提出具体、可操作的未来研究方向，激发多模态人工智能领域的未来研究。

提出的方法

• 基于输入/输出模态与任务目标，对十个核心视觉-语言任务进行分类与形式化定义。
• 回顾并分类每项任务的现有数据集，突出其规模、标注风格与覆盖范围。
• 分析采用注意力机制、交叉注意力及多模态Transformer（如LXMERT、UNITER、ViLBERT）等技术的最先进模型。
• 使用BLEU、CIDEr、ROUGE、FID和准确率等标准指标评估性能，并对不同方法进行定量比较。
• 考察联合预训练框架（如VLP、UNITER、OSCAR）在大规模图像-文本对上学习共享表征的能力。
• 映射不同预训练方法与十项任务之间的兼容性，评估其迁移能力与有效性。

实验结果

研究问题

• RQ1 视觉-语言融合中最具代表性的十项任务是什么？它们的形式化定义如何？
• RQ2 这些任务的现有数据集在规模、标注质量与任务复杂度方面有何差异？
• RQ3 哪些模型架构与训练策略（尤其是联合预训练）在这些任务上表现最佳？
• RQ4 当前模型在处理组合性推理、分布外样本与视觉定位方面存在哪些关键局限？
• RQ5 哪些未来研究方向可缩小人类水平与模型水平在多模态理解能力上的差距？

主要发现

• 视觉-语言预训练（VLP）显著提升了所有十项任务的性能，其中UNITER与LXMERT等模型在多个基准上达到最先进水平。
• 需要组合性推理的任务（如VQA、CLEVR-CoGenT）仍具挑战性，模型常在分布外或复杂关系查询上表现失败。
• 图像字幕生成与视觉问答在标准基准（如MS-COCO、VQA v2.0）上表现良好，但CIDEr与准确率等指标仍落后于人类水平。
• 在大规模数据集（如Conceptual Captions、COCO）上预训练的多模态预训练模型，在微调量极少的情况下，对下游任务具有更强的泛化能力。
• 评估指标如CIDEr与SPICE对语言流畅性敏感，但对事实正确性不敏感，凸显了对更稳健评估方法的需求。
• 尽管已有进展，模型在长距离依赖、视觉推理与复杂场景中的定位能力方面仍显不足，表明与人类理解水平之间存在显著差距。