[论文解读] VeCLIP: Improving CLIP Training via Visual-enriched Captions

Zhengfeng Lai, Haotian Zhang+10 more|arXiv (Cornell University)|Oct 11, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

VeCLIP 通过使用 LLaVA 和第二个 LLM 生成视觉增强型字幕（VeC），在 CLIP 预训练中提升了图像-文本对齐效果，同时采用交替使用原始 AltTexts 与 VeC 的混合训练策略。该方法在 12M 数据下使 COCO 和 Flickr30k 图像检索性能提升超过 20%，且仅使用 vanilla CLIP 14% 的数据即实现超过 3% 的准确率增益。

ABSTRACT

Large-scale web-crawled datasets are fundamental for the success of pre-training vision-language models, such as CLIP. However, the inherent noise and potential irrelevance of web-crawled AltTexts pose challenges in achieving precise image-text alignment. Existing methods utilizing large language models (LLMs) for caption rewriting have shown promise on small, curated datasets like CC3M and CC12M. This study introduces a scalable pipeline for noisy caption rewriting. Unlike recent LLM rewriting techniques, we emphasize the incorporation of visual concepts into captions, termed as Visual-enriched Captions (VeCap). To ensure data diversity, we propose a novel mixed training scheme that optimizes the utilization of AltTexts alongside newly generated VeCap. We showcase the adaptation of this method for training CLIP on large-scale web-crawled datasets, termed VeCLIP. Employing this cost-effective pipeline, we effortlessly scale our dataset up to 300 million samples named VeCap dataset. Our results show significant advantages in image-text alignment and overall model performance. For example, VeCLIP achieves up to +25.2% gain in COCO and Flickr30k retrieval tasks under the 12M setting. For data efficiency, VeCLIP achieves +3% gain while only using 14% of the data employed in the vanilla CLIP and 11% in ALIGN. We also note the VeCap data is complementary with other well curated datasets good for zero-shot classification tasks. When combining VeCap and DFN, our model can achieve strong performance on both of image-text retrieval and zero-shot classification tasks, e.g. 83.1% accuracy@1 on ImageNet zero-shot for a H/14 model. We release the pre-trained models at https://github.com/apple/ml-veclip.

研究动机与目标

• 解决用于 CLIP 预训练的大规模网络爬取数据集中高质量、视觉对齐字幕稀缺的问题。
• 在不依赖现有高质量标注的前提下，通过将视觉概念注入字幕来提升图像-文本对齐效果。
• 通过在原始 AltTexts 与 LLM 生成的视觉增强型字幕（VeC）之间交替，提升预训练期间的数据多样性。
• 在不过滤低质量图像-文本对的情况下，实现对大规模、噪声较多的网络爬取数据的高效、可扩展的视觉-语言模型预训练。
• 证明 VeCLIP 在显著减少数据量的情况下，性能优于 vanilla CLIP 和 ALIGN。

提出的方法

• 使用 LLaVA 检测图像中的视觉实体并生成结构化视觉描述。
• 将检测到的视觉实体与原始 AltText 输入第二个 LLM，生成融合视觉概念的增强字幕（VeC）。
• 构建一种混合训练方案，在预训练过程中交替使用原始 AltTexts 与 LLM 生成的 VeC，以提升数据多样性。
• 保留所有图像-文本对，包括噪声较大的 AltTexts，以保持数据效率并避免因过滤导致的数据损失。
• 调整 CLIP 对比损失目标函数，使用原始字幕和 VeC 优化后的字幕联合训练视觉与文本编码器。
• 采用两阶段字幕生成流程：第一阶段通过 LLaVA 进行视觉定位；第二阶段通过大型语言模型对自然语言进行优化，生成流畅且富含概念的字幕。

实验结果

研究问题

• RQ1 通过 LLM 将视觉概念注入字幕，能否显著提升 CLIP 预训练中的图像-文本对齐效果？
• RQ2 采用交替使用原始 AltTexts 与视觉增强型字幕（VeC）的混合训练策略，是否能提升模型泛化能力并减少过拟合？
• RQ3 与 vanilla CLIP 和 ALIGN 相比，VeCLIP 在保持或提升性能的前提下，能在多大程度上减少数据需求？
• RQ4 字幕质量如何影响下游零样本图像分类与检索性能？
• RQ5 VeCLIP 框架是否可推广至如 CC3M 和 CC12M 等高质量整理数据集？是否能持续带来性能提升？

主要发现

• 在 12M 数据设置下，VeCLIP 在 COCO 图像到文本检索任务中实现 20.1% 的性能提升，在 Flickr30k 中实现 21.3% 的提升。
• 在 ImageNet 零样本分类任务中，VeCLIP 仅使用 vanilla CLIP 所需数据的 14% 即实现超过 3% 的准确率增益。
• 当使用 ALIGN 所用数据的 11% 时，VeCLIP 在 ImageNet 零样本分类中实现 3.1% 的准确率增益。
• 与仅使用 VeC 的训练策略相比，交替使用 AltTexts 与 VeC 的混合训练策略使零样本 ImageNet 性能提升 1.8%。
• 在 CC3M 数据集上，LLM-VeC 使 COCO 图像到文本检索性能提升 18.16%，ImageNet 零样本准确率提升 6.14%。
• VeCLIP 在所有主干网络尺寸（包括 ViT-L/14）上均持续优于 vanilla CLIP，展现出良好的可扩展性与架构无关性。