[论文解读] OneLLM: One Framework to Align All Modalities with Language

Jiaming Han, Kaixiong Gong+7 more|arXiv (Cornell University)|Dec 6, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

OneLLM 提出了一种统一框架，通过单一通用编码器和投影模块，将八种不同模态——图像、视频、音频、点云、深度/法向量图、IMU 和 fMRI——与大型语言模型对齐。通过利用具有动态路由机制的通用投影模块和模态标记，该方法在 25 个多模态基准测试中实现了最先进性能，且参数开销极低，证明了可扩展、统一的 MLLM 架构的可行性。

ABSTRACT

Multimodal large language models (MLLMs) have gained significant attention due to their strong multimodal understanding capability. However, existing works rely heavily on modality-specific encoders, which usually differ in architecture and are limited to common modalities. In this paper, we present OneLLM, an MLLM that aligns eight modalities to language using a unified framework. We achieve this through a unified multimodal encoder and a progressive multimodal alignment pipeline. In detail, we first train an image projection module to connect a vision encoder with LLM. Then, we build a universal projection module (UPM) by mixing multiple image projection modules and dynamic routing. Finally, we progressively align more modalities to LLM with the UPM. To fully leverage the potential of OneLLM in following instructions, we also curated a comprehensive multimodal instruction dataset, including 2M items from image, audio, video, point cloud, depth/normal map, IMU and fMRI brain activity. OneLLM is evaluated on 25 diverse benchmarks, encompassing tasks such as multimodal captioning, question answering and reasoning, where it delivers excellent performance. Code, data, model and online demo are available at https://github.com/csuhan/OneLLM

研究动机与目标

• 为了解决现有多模态 LLM 中模态专用编码器的局限性，这些编码器限制了可扩展性，并且每种模态都需要独立的架构设计。
• 探究单一通用编码器和投影模块是否能够有效将多样化模态与大型语言模型对齐。
• 开发一种可扩展的统一框架，支持广泛模态，而无需为每种模态重新设计架构。
• 整理并利用一个涵盖八种模态的综合性 200 万样本多模态指令数据集，以实现有效的指令微调。
• 证明通过参数共享和知识迁移，跨多种模态（包括低资源模态）的联合训练可提升性能。

提出的方法

• 轻量级的模态分词器通过单个卷积层将每种输入模态转换为标记序列。
• 引入可学习的模态标记，以实现模态切换，并将可变长度输入归一化为固定序列长度。
• 基于冻结的 CLIP-ViT 主干网络构建通用编码器，作为所有模态的共享表示学习器。
• 通过混合多个图像投影专家并使用动态路由门控专家贡献，构建通用投影模块（UPM），形成软专家混合模型。
• 采用渐进式训练策略：首先预训练视觉 LLM，然后通过 UPM 和模态特定微调扩展至其他模态。
• 整理了一个大规模、多样化的 200 万样本指令数据集，涵盖八种模态，用于端到端的指令微调。

Figure 1 : Comparisons of Different Multimodal LLMs. Vision LLM: one image encoder and projection module. Multimodal (MM) LLM: modality-specific encoder and projection module. OneLLM : a universal encoder, a universal projection module and modality tokens $\{\mathrm{modal}\}$ to switch between modal

实验结果

研究问题

• RQ1 单一通用编码器是否能有效表征并对齐如音频、视频、点云、IMU 和 fMRI 等非视觉模态与大型语言模型？
• RQ2 具有动态路由机制的统一投影模块是否在参数效率和泛化能力方面优于模态专用的投影头？
• RQ3 跨多种模态（包括 fMRI 和 IMU 等低数据模态）的联合训练是否能通过知识迁移提升性能？
• RQ4 具有共享组件的统一框架在多大程度上减少了架构复杂性，同时保持或提升在多样化基准测试中的性能？
• RQ5 与现有 MLLM 相比，该框架在可扩展性、参数效率和模态覆盖范围方面表现如何？

主要发现

• OneLLM 在涵盖八种模态的 25 个多样化多模态基准测试中实现了最先进性能，包括图像字幕、问答和推理任务。
• 该模型在 fMRI 和 IMU 等低资源模态上也表现出色，证明了参数共享和联合训练的优势。
• 消融实验表明，使用统一框架联合训练所有模态可提升性能，尤其对数据稀缺模态更为显著。
• OneLLM 的编码器仅使用 0.6B 参数，且仅配备一个投影模块，远少于以往采用模态专用组件的模型。
• 具有动态路由的通用投影模块实现了有效的跨模态适应，优于固定或模态专用的投影头。
• 整理的 200 万样本指令数据集使模型在所有八种模态上均展现出强大的指令遵循能力，且在多样化任务中表现一致。

Figure 2 : The Architecture of OneLLM . OneLLM consists of modality tokenizers, a universal encoder, a universal projection module (UPM) and an LLM. The modality tokenizer is a 2D/1D convolution layer to transform the input signal into a sequence of tokens. For simplicity, we omit video, depth/norma