[论文解读] SwitchGPT: Adapting Large Language Models for Non-Text Outputs

Xinyu Wang, Bohan Zhuang+1 more|arXiv (Cornell University)|Sep 14, 2023

Topic ModelingComputer Science被引用 3

一句话总结

SwitchGPT 提出了一种新颖的方法，通过极简、模态对齐的指令微调，使基于文本的大规模语言模型（LLMs）能够生成非文本输出（如图像和音频）。该方法使 LLMs 成为智能控制器，能够根据指令识别目标输出模态，并调用预训练的模态转换模型，从而在无需多模态预训练或复杂微调的情况下，实现高准确率和高质量提示。

ABSTRACT

Large Language Models (LLMs), primarily trained on text-based datasets, exhibit exceptional proficiencies in understanding and executing complex linguistic instructions via text outputs. However, they falter when requests to generate non-text ones. Concurrently, modality conversion models, such as text-to-image, despite generating high-quality images, suffer from a lack of extensive textual pretraining. As a result, these models are only capable of accommodating specific image descriptions rather than comprehending more complex instructions. To bridge this gap, we propose a novel approach, \methodname, from a modality conversion perspective that evolves a text-based LLM into a multi-modal one. We specifically employ a minimal dataset to instruct LLMs to recognize the intended output modality as directed by the instructions. Consequently, the adapted LLM can effectively summon various off-the-shelf modality conversion models from the model zoos to generate non-text responses. This circumvents the necessity for complicated pretraining that typically requires immense quantities of paired multi-modal data, while simultaneously inheriting the extensive knowledge of LLMs and the ability of high-quality generative models. To evaluate and compare the adapted multi-modal LLM with its traditional counterparts, we have constructed a multi-modal instruction benchmark that solicits diverse modality outputs. The experiment results reveal that, with minimal training, LLMs can be conveniently adapted to comprehend requests for non-text responses, thus achieving higher flexibility in multi-modal scenarios. Code and data will be made available at https://github.com/xinke-wang/SwitchGPT.

研究动机与目标

• 解决基于文本的 LLM 在生成图像和音频等非文本输出方面的局限性。
• 弥补模态转换模型的知识缺口，这些模型缺乏 LLM 所具备的推理与常识理解能力。
• 使 LLM 成为智能协调者，根据指令意图选择并调用合适的现成模态转换模型。
• 开发一种计算效率更高的替代方案，以应对现有 LLM 作为控制器框架中存在的高延迟与不稳定性问题。
• 建立一个用于评估 LLM 在多样化输出模态下多模态指令遵循能力的基准。

提出的方法

• 引入一种模态对齐的指令微调阶段，使 LLM 在极小数据集上进行微调，以识别指令中所期望的输出模态。
• 将每条指令映射到特定模态（文本、图像、音频），并配对相应输出，使 LLM 学习模态特定的响应模式。
• 利用微调后的 LLM 作为控制器，根据预测的模态调用预训练的、现成的模态转换模型（如用于图像的 Stable Diffusion，用于音频的 TTS）。
• 利用 LLM 的推理与知识能力，为特定模态模型生成高质量提示，从而提升生成质量。
• 使用标准指令微调方式训练 LLM，避免复杂的多模态预训练或成对数据上的端到端微调。
• 通过在标准语言基准测试中保持性能，确保 LLM 的推理与文本生成能力不受影响。

Figure 1: Given an instruction expecting a non-text response, text-based LLMs like ChatGPT (OpenAI 2023 ) are constrained to providing text responses, while popular text-to-image models such as Stable Diffusion (Rombach et al. 2022 ) generate imagery based on direct description. In contrast, our pro

实验结果

研究问题

• RQ1 基于文本的 LLM 是否能在未直接接触非文本数据的情况下，有效适应以理解并生成非文本输出？
• RQ2 极简指令微调方法在多大程度上能帮助 LLM 正确识别自然语言指令中的目标输出模态？
• RQ3 与直接提示或黑箱 LLM 控制相比，使用 LLM 作为控制器调用预训练模态转换模型，在模态准确率与输出质量方面是否表现更优？
• RQ4 模态对齐的指令微调在多大程度上保留了 LLM 原有的语言理解与推理能力？
• RQ5 该方法是否能泛化到训练分布之外的多样化、复杂且对话式的指令？

主要发现

• SwitchGPT 实现了最先进的模态准确率，与 GPT-3.5-turbo 相当，并超越所有其他方法，包括 HuggingGPT 和 LLM-grounded Diffusion。
• 该方法显著优于 OPT-6.7B，后者无法生成非文本输出，仅默认返回文本，凸显了正确指令微调的重要性。
• SwitchGPT 在所有方法中取得了最高的 CLIP 分数，表明其为图像生成模型生成的提示质量更优。
• LLM 保持了强大的语言理解能力，在标准语言基准测试中准确率与 Llama2-7B 相当。
• 定性结果表明，SwitchGPT 能够正确理解多样化的对话输入，并生成恰当的多模态响应，即使指令与训练样本不同。
• 该方法实现了对 LLM 的高效、低成本多模态生成适配，无需多模态预训练或访问成对数据。

Figure 2: Comparison of responses to the user’s instruction by different models. While traditional text-to-image models like Stable Diffusion often generate images based on superficial keywords, they might miss the underlying intent of the instruction. Hugging-GPT can produce unstable results, for i