[论文解读] Pixtral 12B

P. C. Agrawal, Szymon Antoniak+40 more|arXiv (Cornell University)|Oct 9, 2024

Transport Systems and Technology被引用 4

一句话总结

Pixtral 12B 是一个拥有 120 亿参数的多模态语言模型，在文本和视觉任务中均表现出色，其采用从零开始训练的新型视觉编码器，可原生处理图像的原始分辨率和宽高比。该模型在多模态基准测试中表现优于更大的开源模型（如 Llama-3.2 90B）和封闭模型（如 Claude-3 Haiku），同时保持了强大的纯文本性能，并以 Apache 2.0 许可证发布，采用标准化的评估协议。

ABSTRACT

We introduce Pixtral-12B, a 12--billion-parameter multimodal language model. Pixtral-12B is trained to understand both natural images and documents, achieving leading performance on various multimodal benchmarks, surpassing a number of larger models. Unlike many open-source models, Pixtral is also a cutting-edge text model for its size, and does not compromise on natural language performance to excel in multimodal tasks. Pixtral uses a new vision encoder trained from scratch, which allows it to ingest images at their natural resolution and aspect ratio. This gives users flexibility on the number of tokens used to process an image. Pixtral is also able to process any number of images in its long context window of 128K tokens. Pixtral 12B substanially outperforms other open models of similar sizes (Llama-3.2 11B \& Qwen-2-VL 7B). It also outperforms much larger open models like Llama-3.2 90B while being 7x smaller. We further contribute an open-source benchmark, MM-MT-Bench, for evaluating vision-language models in practical scenarios, and provide detailed analysis and code for standardized evaluation protocols for multimodal LLMs. Pixtral-12B is released under Apache 2.0 license.

研究动机与目标

• 开发一款高性能、开源的多模态语言模型，兼顾强大的纯文本能力，同时在多模态推理方面表现卓越。
• 通过从零开始训练的视觉编码器，实现对不同分辨率和宽高比图像的灵活处理。
• 通过标准化提示和度量指标，解决多模态模型评估中的不一致性，减少因格式不匹配带来的偏差。
• 构建一个实用的、多轮次、多模态的基准测试（MM-MT-Bench），以更真实地反映助手在实际应用中的使用场景。
• 发布一款可投入生产的开源模型，配备可复现的评估代码和标准化协议。

提出的方法

• 从零开始训练新型视觉编码器 Pixtral-ViT，采用创新的 RoPE-2D 位置编码，以支持可变图像尺寸和宽高比。
• 在视觉编码器中使用块对角注意力掩码，以实现序列打包和高效的批量处理。
• 采用基于 12B 参数 Mistral Nemo 的解码器，实现高层次的多模态推理与指令遵循能力。
• 设计“显式”提示，明确指定所需答案格式，以减少因格式不匹配导致的评估偏差。
• 引入灵活的解析机制用于评估指标，避免因格式不同而惩罚内容正确但格式相异的答案。
• 创建并开源 MM-MT-Bench 基准测试，用于评估多模态模型在长文本、多轮次、指令遵循场景下的表现。

Figure 1 : Pixtral Performance. Pixtral outperforms all open-models within its weight class on multimodal tasks by a substantial margin. Left: Performance on MM-MT-Bench, a new multimodal, multiturn, instruction following benchmark designed to reflect real world usage of multimodal language models.

实验结果

研究问题

• RQ1 一个 12B 参数的多模态模型是否能在不牺牲纯文本能力的前提下，在文本和视觉任务中均实现最先进性能？
• RQ2 与固定分辨率方法相比，以原始分辨率和宽高比处理图像，对多模态推理性能有何影响？
• RQ3 评估提示不一致和严格匹配度量指标在多大程度上扭曲了多模态模型之间的性能比较？
• RQ4 与标准的多选题或简答题基准相比，像 MM-MT-Bench 这类多轮次、指令遵循型基准是否更能反映实际应用价值？
• RQ5 通过使用显式提示和灵活解析的标准化评估协议，是否能显著提升多模态模型评估的公平性与可复现性？

主要发现

• Pixtral 12B 在 MMMU 和 MathVista 等多模态基准测试中优于 Llama-3.2 11B 和 Qwen2-VL 7B，同时在 MATH 和 HumanEval 等纯文本任务中表现相当或更优。
• Pixtral 12B 在多模态基准测试中超越了参数量大得多的 Llama-3.2 90B 模型，展现出卓越的参数效率。
• 在 LMSys Vision Leaderboard 上，Pixtral 12B 的排名高于多个闭源模型，包括 Claude-3 Opus 和 Claude-3 Sonnet，是目前排名最高的 Apache 2.0 许可模型。
• 在处理高分辨率图像时，Pixtral 12B 在复杂图表和文档理解任务中表现更优，显著优于使用固定或分块分辨率的 CLIPA 基础模型。
• MM-MT-Bench 上的表现与 LMSys Vision Leaderboard 上的人类偏好排名高度相关，验证了其实际相关性。
• 使用显式提示和灵活解析机制显著提升了评估的公平性与一致性，减少了因格式差异导致的性能偏差。

Figure 2 : Pixtral Vision Encoder. Pixtral uses a new vision encoder, which is trained from scratch to natively support variable image sizes and aspect ratios. Block-diagonal attention masks enable sequence packing for batching, while RoPE-2D encodings facilitate variable image sizes. Note that the