[论文解读] VILA: On Pre-training for Visual Language Models

Lin Ji, Hongxu Yin+8 more|arXiv (Cornell University)|Dec 12, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了 VILA，一个视觉语言模型系列，通过优化预训练阶段，在视觉-语言基准测试中实现了最先进性能。通过在预训练期间微调大语言模型（LLM），使用交错的图文数据，并在微调过程中重新混合纯文本指令数据，VILA 在不依赖架构改进的情况下，增强了上下文学习、多图像推理和世界知识能力。

ABSTRACT

Visual language models (VLMs) rapidly progressed with the recent success of large language models. There have been growing efforts on visual instruction tuning to extend the LLM with visual inputs, but lacks an in-depth study of the visual language pre-training process, where the model learns to perform joint modeling on both modalities. In this work, we examine the design options for VLM pre-training by augmenting LLM towards VLM through step-by-step controllable comparisons. We introduce three main findings: (1) freezing LLMs during pre-training can achieve decent zero-shot performance, but lack in-context learning capability, which requires unfreezing the LLM; (2) interleaved pre-training data is beneficial whereas image-text pairs alone are not optimal; (3) re-blending text-only instruction data to image-text data during instruction fine-tuning not only remedies the degradation of text-only tasks, but also boosts VLM task accuracy. With an enhanced pre-training recipe we build VILA, a Visual Language model family that consistently outperforms the state-of-the-art models, e.g., LLaVA-1.5, across main benchmarks without bells and whistles. Multi-modal pre-training also helps unveil appealing properties of VILA, including multi-image reasoning, enhanced in-context learning, and better world knowledge.

研究动机与目标

• 探究视觉语言预训练中的设计选择如何影响下游性能。
• 解决对预训练缺乏深入研究的问题，尽管其对模态对齐至关重要但成本高昂。
• 为构建具备强大零样本与少样本能力的高效视觉语言模型提供实用指导。
• 在提升视觉理解能力的同时，保持纯文本任务能力，通过改进的预训练方案实现。
• 揭示更优预训练带来的涌现能力，如多图像推理与增强的上下文学习能力。

提出的方法

• 在视觉语言预训练期间微调 LLM，以实现深度嵌入对齐，这对上下文学习至关重要。
• 使用交错图文语料（如 MMC4）而非孤立的图文对，以提升梯度更新质量与联合建模能力。
• 在监督微调阶段重新混合纯文本指令数据，以缓解纯文本任务上的性能退化。
• 评估不同投影器设计，包括一种‘下采样’投影器，其可减少视觉 token 数量同时保持性能。
• 对比微调 LLM 与冻结 LLM 并添加视觉专家的策略，结果表明端到端微调在准确率与模型尺寸方面更具优势。
• 采用预训练 + 监督微调的训练流程，将数据转换为 FLAN 风格提示以支持指令微调。

实验结果

研究问题

• RQ1 在预训练期间微调与冻结 LLM 对上下文学习与零样本性能有何影响？
• RQ2 使用交错图文数据与孤立图文对对预训练效果有何影响？
• RQ3 在微调阶段重新混合纯文本指令数据，能否缓解文本任务上的性能退化，同时提升视觉-语言任务的准确率？
• RQ4 预训练如何影响多图像推理与增强世界知识等涌现能力？
• RQ5 在使用视觉专家与微调 LLM 之间，模型大小与性能的权衡如何？

主要发现

• 在预训练期间微调 LLM 显著提升了上下文学习能力，而冻结 LLM 即使具备良好的零样本性能，仍会限制该能力。
• 使用交错预训练数据（如 MMC4）相比孤立图文对（如 COYO、LAION）能带来更优的梯度更新与更出色的性能。
• 在微调阶段重新混合纯文本指令数据，不仅能保持纯文本任务能力，还能提升视觉-语言任务的准确率。
• VILA 在无需额外组件的情况下，超越了 LLaVA-1.5 等 SOTA 模型，在多个基准测试中取得最先进结果，且采用更简洁的训练方案。
• 增强的预训练解锁了涌现能力，包括多图像推理与更强的世界知识，即使在仅使用单张图像进行微调时亦可实现。
• ‘下采样’投影器将视觉 token 数量从 336 减少至 144，同时将 TextVQA 准确率提升至约 46%，表明标准视觉 token 化中存在冗余。