[论文解读] One Model, Multiple Modalities: A Sparsely Activated Approach for Text, Sound, Image, Video and Code

Yong Dai, Duyu Tang+8 more|arXiv (Cornell University)|May 12, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出SkillNet，一种单模态多模态模型，通过稀疏激活特定任务的参数头来处理文本、图像、声音、视频和代码。通过为每种模态专门化参数并在推理时仅激活相关部分，SkillNet在性能上与专用模态模型相当，同时实现了高效的自监督预训练，在图像、视频和代码任务上超越了专用基线模型，并在中文文本到图像检索任务中实现了最先进精度，且激活参数更少。

ABSTRACT

People perceive the world with multiple senses (e.g., through hearing sounds, reading words and seeing objects). However, most existing AI systems only process an individual modality. This paper presents an approach that excels at handling multiple modalities of information with a single model. In our "{SkillNet}" model, different parts of the parameters are specialized for processing different modalities. Unlike traditional dense models that always activate all the model parameters, our model sparsely activates parts of the parameters whose skills are relevant to the task. Such model design enables SkillNet to learn skills in a more interpretable way. We develop our model for five modalities including text, image, sound, video and code. Results show that, SkillNet performs comparably to five modality-specific fine-tuned models. Moreover, our model supports self-supervised pretraining with the same sparsely activated way, resulting in better initialized parameters for different modalities. We find that pretraining significantly improves the performance of SkillNet on five modalities, on par with or even better than baselines with modality-specific pretraining. On the task of Chinese text-to-image retrieval, our final system achieves higher accuracy than existing leading systems including Wukong{ViT-B} and Wenlan 2.0 while using less number of activated parameters.

研究动机与目标

• 开发一种统一模型，能够处理多种模态，而无需为每种模态分别训练独立模型。
• 实现高效且可解释的参数专业化，即每项任务仅激活相关模型部分。
• 探究稀疏参数激活是否能提升跨多样化模态的预训练效率和下游性能。
• 评估单一模型是否能在降低计算成本的同时，性能上优于或匹配专用模态模型。

提出的方法

• SkillNet采用稀疏参数激活机制，其中不同参数头针对不同模态（如文本、图像、声音、视频、代码）进行专门化。
• 在推理过程中，仅激活与输入模态相关的参数头，其余部分被禁用，从而降低计算负载。
• 通过在Transformer架构中引入专门化头，生成模态特定的查询、键和值向量，从而扩展原始注意力机制。
• 模型支持使用相同稀疏激活模式的自监督预训练，实现跨模态的更好初始化。
• 预训练在所有模态上联合进行，共享目标使不同任务间可实现知识迁移。
• 该架构具有模态无关性和任务无关性，可通过极少配置调整轻松扩展至新模态。

实验结果

研究问题

• RQ1 单一模型是否能在文本、图像、声音、视频和代码任务上实现与五个专用模态模型相当的性能？
• RQ2 与密集模型相比，稀疏激活的参数路由是否能提升模型效率和性能？
• RQ3 采用稀疏激活的自监督预训练是否能带来优于专用模态预训练的初始化效果？
• RQ4 该模型是否能在包括低资源任务（如文本到视频检索）在内的多样化模态上表现出良好的泛化能力？

主要发现

• SkillNet在所有五项任务上的表现与五个专用模态微调模型相当：文本分类、自动语音识别、文本到图像检索、文本到视频检索和文本到代码检索。
• 预训练后，SkillNet在图像、视频和代码任务上优于专用模态预训练基线模型，在文本到图像检索任务中达到73.59%的准确率，在文本到视频检索任务中达到81.77%的Recall@10。
• 在中文文本到图像检索任务中，SkillNet仅使用124M个激活参数，测试集上达到37.0%的Recall@1，优于Wukong ${}_{\text{ViT-B}}$（36.7% R@1，197M参数）和Wenlan 2.0（34.1% R@1，445M参数）。
• 预训练显著提升了所有模态的性能，且在五项任务中的三项上，性能增益超过专用模态预训练。
• 稀疏激活机制实现了高效的推理，因为每项任务仅使用部分参数，从而在不损失准确率的前提下降低了计算成本。