[论文解读] Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning for Versatile Multimodal Modeling

Yaqing Wang, Jialin Wu+9 more|arXiv (Cornell University)|Oct 18, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出AdaLink，一种非侵入式、以输入为中心的参数高效微调方法，通过在输入嵌入与Transformer模块之间插入一个轻量级、低秩的MLP模块，实现在不改变模型架构的前提下，以极低参数量实现与全量微调相当的性能。AdaLink在文本和多模态任务上均达到当前最先进水平，参数更新量不足模型参数的0.02%。

ABSTRACT

Large language models (LLMs) and vision language models (VLMs) demonstrate excellent performance on a wide range of tasks by scaling up parameter counts from O(10^9) to O(10^{12}) levels and further beyond. These large scales make it impossible to adapt and deploy fully specialized models given a task of interest. Parameter-efficient fine-tuning (PEFT) emerges as a promising direction to tackle the adaptation and serving challenges for such large models. We categorize PEFT techniques into two types: intrusive and non-intrusive. Intrusive PEFT techniques directly change a model's internal architecture. Though more flexible, they introduce significant complexities for training and serving. Non-intrusive PEFT techniques leave the internal architecture unchanged and only adapt model-external parameters, such as embeddings for input. In this work, we describe AdaLink as a non-intrusive PEFT technique that achieves competitive performance compared to SoTA intrusive PEFT (LoRA) and full model fine-tuning (FT) on various tasks. We evaluate using both text-only and multimodal tasks, with experiments that account for both parameter-count scaling and training regime (with and without instruction tuning).

研究动机与目标

• 为解决在不修改内部架构的前提下高效微调大规模视觉-语言模型的挑战。
• 克服现有非侵入式PEFT方法（如提示微调）在复杂和多模态任务中面临的优化困难与性能局限。
• 开发一种参数高效、模块化且可部署的适配技术，确保在不同任务和模型规模间保持兼容性。
• 评估AdaLink在原始和指令微调的大语言模型上的有效性，特别是在多模态和多任务设置下的表现。

提出的方法

• AdaLink在输入嵌入与主Transformer模块之间引入一个轻量级、低秩的MLP模块，作为可学习的适配层。
• 采用‘零初始化’策略初始化适配器权重，以稳定训练过程，避免提示方法中常见的初始优化问题。
• 通过选择性地仅修改特定输入嵌入，实现部分输入适配，最大限度减少跨模态或任务的干扰。
• 适配器的计算成本随嵌入维度线性增长，避免了提示微调因序列长度增加而产生的二次方增长。
• 该方法为非侵入式：核心Transformer架构与预训练权重保持冻结，保留模型兼容性并提升实现简洁性。
• 支持可配置的推理服务与模块化部署，允许根据不同任务动态加载不同的适配模块。

Figure 1: Overview of AdaLink . Only newly added AdaLink modules are learnable while maintaining other components frozen. The different data is first fed into embedding layer and then goes through the corresponding AdaLink respectively before main shared Transformer Blocks for adaptation per scenari

实验结果

研究问题

• RQ1 非侵入式、以输入为中心的PEFT方法是否能在多模态和纯文本任务上实现与全量微调相当的性能？
• RQ2 与LoRA和提示微调等侵入式PEFT方法相比，AdaLink在优化稳定性与最终性能方面表现如何？
• RQ3 结合指令微调后，AdaLink是否能进一步减少所需适配参数数量并提升泛化能力？
• RQ4 AdaLink能否在不同模型规模和参数量下保持强大性能？
• RQ5 AdaLink中的部分输入适配如何影响多模态设置下的模态对齐与任务泛化？

主要发现

• AdaLink在文本和多模态任务上均实现与全量微调相当或更优的性能，参数更新量不足模型参数的0.02%。
• 该方法在优化稳定性和最终性能方面优于提示微调，尤其在复杂和多任务设置中表现更优。
• 使用AdaLink微调的指令微调模型所需适配参数更少，收敛更快，结果更优。
• AdaLink保持了与嵌入维度的线性计算复杂度，避免了提示微调的二次方计算成本。
• 模块化与非侵入式设计使得其在无需修改架构的前提下，能够灵活、可扩展且可靠地部署于多种任务。
• 实证结果表明，AdaLink能有效保留视觉标记的位置信息，并在VQA和图像字幕等视觉-语言任务中实现优异性能。