[论文解读] The Evolution of Multimodal Model Architectures

Shakti N. Wadekar, Abhishek Chaurasia+2 more|arXiv (Cornell University)|May 28, 2024

Speech and dialogue systems被引用 4

一句话总结

本文提出了一种新型的四类多模态模型架构分类法——类型-A（标准交叉注意力）、类型-B（自定义融合层）、类型-C（非标记化早期融合）和类型-D（标记化早期融合），以系统化多模态领域的演进。研究识别出类型-C与类型-D为任意模态间多模态生成的主导架构，基于复杂性、可扩展性和训练目标之间的权衡，提供了一套结构化的模型选择框架。

ABSTRACT

This work uniquely identifies and characterizes four prevalent multimodal model architectural patterns in the contemporary multimodal landscape. Systematically categorizing models by architecture type facilitates monitoring of developments in the multimodal domain. Distinct from recent survey papers that present general information on multimodal architectures, this research conducts a comprehensive exploration of architectural details and identifies four specific architectural types. The types are distinguished by their respective methodologies for integrating multimodal inputs into the deep neural network model. The first two types (Type A and B) deeply fuses multimodal inputs within the internal layers of the model, whereas the following two types (Type C and D) facilitate early fusion at the input stage. Type-A employs standard cross-attention, whereas Type-B utilizes custom-designed layers for modality fusion within the internal layers. On the other hand, Type-C utilizes modality-specific encoders, while Type-D leverages tokenizers to process the modalities at the model's input stage. The identified architecture types aid the monitoring of any-to-any multimodal model development. Notably, Type-C and Type-D are currently favored in the construction of any-to-any multimodal models. Type-C, distinguished by its non-tokenizing multimodal model architecture, is emerging as a viable alternative to Type-D, which utilizes input-tokenizing techniques. To assist in model selection, this work highlights the advantages and disadvantages of each architecture type based on data and compute requirements, architecture complexity, scalability, simplification of adding modalities, training objectives, and any-to-any multimodal generation capability.

研究动机与目标

• 为解决现有综述中系统性分类的缺失，识别并形式化多模态模型中四种不同的架构模式。
• 通过基于融合策略和集成阶段的标准化分类法，实现对多模态人工智能进展的更好监控与追踪。
• 通过比较数据效率、可扩展性和训练复杂性等方面的架构权衡，支持任意模态间多模态模型的设计与选择。
• 突出显示类型-C与类型-D架构在下一代多模态系统中的主导地位，特别是在端到端和代理增强型生成任务中。
• 为研究人员和从业者提供一个全面、与模型无关的框架，以根据特定应用约束评估和选择架构。

提出的方法

• 提出四类分类法：基于融合时机与机制，定义类型-A（标准交叉注意力）、类型-B（自定义融合层）、类型-C（非标记化早期融合）和类型-D（标记化早期融合）。
• 通过架构与融合策略分析，将最先进模型（如 Flamingo、CLIP、Unified-IO、CoDI、NExT-GPT、ModaVerse）归类至四类架构中。
• 分析架构组件，如模态专用编码器（类型-C）、分词器（类型-D）和注意力机制（类型-A/B），以界定结构差异。
• 在多个关键维度上评估每类架构：数据与计算需求、复杂性、可扩展性、模态可扩展性、训练目标以及任意模态间生成能力。
• 引入可视化分类图（图2）与时间线（图1），以映射多模态领域内模型演进与架构趋势。
• 探讨新兴替代方案，如状态空间模型（SSMs），例如 VL-Mamba 与 Cobra，其结构与类型-C相似，可能为未来基于 SSM 的任意模态间模型铺平道路。

实验结果

研究问题

• RQ1 当代多模态模型背后存在哪四种不同的架构模式？它们在融合策略与集成时机上如何区别？
• RQ2 为何当前类型-C与类型-D架构更受青睐用于构建任意模态间多模态模型？相较于深度融合方法，它们具有哪些优势？
• RQ3 架构选择如何影响训练复杂性、可扩展性以及在多模态生成中支持多样化模态的能力？
• RQ4 在任意模态间多模态系统中，端到端可训练模型（类型-C、类型-D）与混合代理式方法之间存在哪些性能权衡？
• RQ5 新兴架构如状态空间模型（SSMs）能否被整合进现有分类法中？它们对未来多模态模型设计具有何种潜力？

主要发现

• 类型-D 模型如 Unified-IO-2 在图像生成任务中取得 13.39 的 FID 分数，在视频字幕任务中取得 48.8 的 CIDEr 分数，展现出在端到端多模态生成中的强劲性能。
• 类型-C 模型如 CoDI 在视频字幕任务中取得更低的 FID（11.26）与更高的 CIDEr（78.9），表明其在图像生成质量与参考字幕对齐方面优于类型-D。
• NExT-GPT（类型-C 模型）在音频生成任务中取得 156.7 的 CIDEr 分数，在 CLIPSIM 任务中取得 0.802 的分数，优于其他模型，尤其在音频到视频生成与跨模态对齐任务中表现突出。
• ModaVerse（结合类型-C 与代理机制）取得 11.24 的 FID 与 151.4 的 CIDEr 分数，表明非端到端方法虽缺乏完整端到端训练，仍可实现具有竞争力的性能。
• 本研究识别出类型-C 与类型-D 是任意模态间多模态模型的两大主导架构范式，其中类型-C 作为类型-D 的非标记化替代方案正逐渐获得关注。
• 状态空间模型（SSMs）如 VL-Mamba 与 Cobra 在结构上与类型-C 相似，暗示未来可能发展出基于 SSM 的任意模态间模型，尽管目前尚未有此类模型问世。