[论文解读] Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs

Microsoft, :+74 more|ArXiv.org|Mar 3, 2025

Natural Language Processing Techniques被引用 3

一句话总结

Phi-4-Mini 与 Phi-4-Multimodal 提供紧凑的高性能语言与多模态模型，采用混合 LoRA 的训练方法，在保持基础语言模型冻结的同时实现强大的语言、代码与多模态能力。

ABSTRACT

We introduce Phi-4-Mini and Phi-4-Multimodal, compact yet highly capable language and multimodal models. Phi-4-Mini is a 3.8-billion-parameter language model trained on high-quality web and synthetic data, significantly outperforming recent open-source models of similar size and matching the performance of models twice its size on math and coding tasks requiring complex reasoning. This achievement is driven by a carefully curated synthetic data recipe emphasizing high-quality math and coding datasets. Compared to its predecessor, Phi-3.5-Mini, Phi-4-Mini features an expanded vocabulary size of 200K tokens to better support multilingual applications, as well as group query attention for more efficient long-sequence generation. Phi-4-Multimodal is a multimodal model that integrates text, vision, and speech/audio input modalities into a single model. Its novel modality extension approach leverages LoRA adapters and modality-specific routers to allow multiple inference modes combining various modalities without interference. For example, it now ranks first in the OpenASR leaderboard to date, although the LoRA component of the speech/audio modality has just 460 million parameters. Phi-4-Multimodal supports scenarios involving (vision + language), (vision + speech), and (speech/audio) inputs, outperforming larger vision-language and speech-language models on a wide range of tasks. Additionally, we experiment to further train Phi-4-Mini to enhance its reasoning capabilities. Despite its compact 3.8-billion-parameter size, this experimental version achieves reasoning performance on par with or surpassing significantly larger models, including DeepSeek-R1-Distill-Qwen-7B and DeepSeek-R1-Distill-Llama-8B.

研究动机与目标

• 证明一个紧凑的 3.8B 参数语言模型能通过高质量数据和定向训练在推理、数学与编码方面达到较强表现。
• 引入 Phi-4-Multimodal，一个在不损害基础语言模型前提下支持多模态组合的统一多模态模型。
• 展示混合 LoRA 能在保持纯文本性能的同时实现多模态能力，并在视觉、语音与视觉-语音任务上达到具竞争力的基准。

提出的方法

• 用高质量、包含推理丰富的数据混合（包括精选代码数据集和 Phi-4 合成数据）来训练 Phi-4-Mini。
• 冻结语言骨干并为视觉与语音/音频分别应用模态特定的 LoRA 适配器，以实现多模态能力。
• 使用四阶段的视觉训练流程（投影对齐、联合视觉训练、生成式视觉-语言 SFT、多帧训练）以扩展上下文和能力。
• 在语音/音频方面，先以与 ASR 对齐的数据进行预训练，再用精选的 SFT 数据进行后训练以启用语音/音频模态的指令遵循。
• 采用三阶段的推理训练流程：在前沿大型语言模型的 ~60B CoT 令牌上进行预训练，在 ~200K 高质量 CoT 样本上进行微调，并以 ~300K 偏好样本进行 DPO 推广。

实验结果

研究问题

• RQ1 一个紧凑的 3.8B 参数模型是否能够通过高质量的合成与精选数据在推理与数学/编码方面达到与更大模型的可比性？
• RQ2 混合 LoRA 是否能够在不降低语言模型纯文本性能的前提下实现统一的多模态推理（文本、视觉、语音）？
• RQ3 相较于较大或完全微调的模型，Phi-4-Multimodal 在视觉-语言、视觉-语音和语音-语言任务上的表现如何？

主要发现

• Phi-4-Mini（3.8B）在数学和编码推理方面表现出色，在选定任务上与更大模型相当。
• Phi-4-Multimodal 通过整合模态特定的 LoRA，同时保持基础 LM 冻结，提供统一的多模态能力，在若干基准测试中超过跨模态注意力设计。
• Phi-4-Multimodal 在报告日期时在 OpenASR 评榜中名列第一，语音组件为 460M LoRA 参数。
• 该模型在视觉-语言基准测试上达到同尺寸模型的最先进水平，在视觉-语音基准测试上显著优于更大对手。
• 语音/音频能力包括首个开源语音摘要，以及具有竞争力的 ASR/AST 结果，在多项任务中常超越专门模型（如 WhisperV3、SeamlessM4T）。
• 带有推理增强的 Phi-4-Mini 展示出与更大规模的前沿推理系统相当或超越的能力。