[论文解读] Vision-Language Pre-training: Basics, Recent Advances, and Future Trends

Zhe Gan, Linjie Li+4 more|arXiv (Cornell University)|Oct 17, 2022

Multimodal Machine Learning Applications被引用 13

一句话总结

本综述全面概述了视觉语言预训练（VLP）在图文、核心计算机视觉及视频图文任务中的发展，涵盖最先进模型、预训练目标、数据集以及基础模型、上下文学习、知识融合和鲁棒性等高级主题。它凸显了VLP从任务特定模型向统一、可扩展的多模态系统演进的过程，展现出在现实场景中广泛应用的潜力与新兴能力。

ABSTRACT

This paper surveys vision-language pre-training (VLP) methods for multimodal intelligence that have been developed in the last few years. We group these approaches into three categories: ($i$) VLP for image-text tasks, such as image captioning, image-text retrieval, visual question answering, and visual grounding; ($ii$) VLP for core computer vision tasks, such as (open-set) image classification, object detection, and segmentation; and ($iii$) VLP for video-text tasks, such as video captioning, video-text retrieval, and video question answering. For each category, we present a comprehensive review of state-of-the-art methods, and discuss the progress that has been made and challenges still being faced, using specific systems and models as case studies. In addition, for each category, we discuss advanced topics being actively explored in the research community, such as big foundation models, unified modeling, in-context few-shot learning, knowledge, robustness, and computer vision in the wild, to name a few.

研究动机与目标

• 提供对视觉语言预训练（VLP）在图文、核心视觉及视频图文任务中统一且深入的综述。
• 分析从任务特定模型到大规模通用多模态基础模型的演进过程。
• 研究前沿研究趋势，如上下文少样本学习、知识增强、模型鲁棒性及高效微调。
• 评估VLP模型在标准基准和现实世界开放世界场景中的性能与局限性。
• 通过讨论系统级挑战与案例研究，弥合学术研究与工业部署之间的差距。

提出的方法

• 本文将VLP方法划分为三大类别：图文任务、核心计算机视觉任务及视频图文任务。
• 针对每一类，综述最先进模型、预训练目标、数据集及模型架构。
• 分析高级主题，包括大基础模型、统一建模、上下文少样本学习及知识增强的VLP。
• 通过领先模型（如CLIP、ALIGN、LLaVA、Video-LLaMA）的案例研究，阐明设计选择与性能权衡。
• 通过探针分析与标准数据集（如COCO、ImageNet、VQAv2）上的基准对比，评估鲁棒性。
• 基于工业系统案例研究，讨论模型压缩与效率等实际部署挑战。

实验结果

研究问题

• RQ1 视觉语言预训练模型如何从任务特定架构演进为统一、可扩展的基础模型？
• RQ2 在图像、视频及核心视觉任务中实现最先进性能的关键架构与预训练目标设计是什么？
• RQ3 在需要结构化输出（如边界框）的复杂视觉任务中，上下文少样本学习在VLP中可实现到何种程度？
• RQ4 如何通过外部知识与检索增强方法提升VLP模型的事实准确性与泛化能力？
• RQ5 在真实世界、开放词汇及真实场景中部署大规模VLP模型面临的主要挑战是什么？

主要发现

• 视觉语言预训练已成功超越图文任务，实现在图像分类、目标检测与分割等核心计算机视觉任务中的强大性能。
• 基础模型如CLIP与ALIGN在开放集和零样本学习场景中展现出强大的零样本迁移能力。
• 对于仅输出文本的任务，上下文少样本学习是可行的，但对需要结构化输出（如边界框或分割掩码）的视觉任务仍具挑战。
• 知识增强的VLP是新兴前沿，检索增强方法在提升事实一致性与减少幻觉方面展现出潜力。
• 鲁棒性评估表明，模型常在标准基准上过拟合，因此需要更严格的诊断测试与鲁棒训练策略。
• 通过参数高效微调（如适配器）实现高效适配，对在资源受限环境中部署大型VLP模型至关重要。