[论文解读] Parameter-Efficient Fine-Tuning for Foundation Models

Dan Zhang, Tao Feng+4 more|ArXiv.org|Jan 23, 2025

Numerical methods for differential equations被引用 4

一句话总结

本综述系统性地回顾基础模型的参数高效微调（PEFT）方法，分类方法（Selective、Additive、Prompt、Reparameterization、Hybrid），并概述趋势、应用与未来方向。

ABSTRACT

This survey delves into the realm of Parameter-Efficient Fine-Tuning (PEFT) within the context of Foundation Models (FMs). PEFT, a cost-effective fine-tuning technique, minimizes parameters and computational complexity while striving for optimal downstream task performance. FMs, like ChatGPT, DALL-E, and LLaVA specialize in language understanding, generative tasks, and multimodal tasks, trained on diverse datasets spanning text, images, and videos. The diversity of FMs guides various adaptation strategies for PEFT. Therefore, this survey aims to provide a comprehensive overview of PEFT techniques applied to diverse FMs and address critical gaps in understanding the techniques, trends, and applications. We start by providing a detailed development of FMs and PEFT. Subsequently, we systematically review the key categories and core mechanisms of PEFT across diverse FMs to offer a comprehensive understanding of trends. We also explore the most recent applications across various FMs to demonstrate the versatility of PEFT, shedding light on the integration of systematic PEFT methods with a range of FMs. Furthermore, we identify potential research and development directions for improving PEFTs in the future. This survey provides a valuable resource for both newcomers and experts seeking to understand and use the power of PEFT across FMs. All reviewed papers are listed at \url{https://github.com/THUDM/Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models}.

研究动机与目标

• 解释基础模型及需要PEFT以降低训练成本。
• 对五种FM结构（LLM、VFM、VLM、MFM、VGM）进行PEFT方法的调研与分类。
• 分析PEFT技术的设计选择、取舍及适用性。
• 总结当前应用并识别开放挑战与未来方向。

提出的方法

• 按输入模态和任务定义并分类基础模型。
• 引入五大PEFT类别：Selective、Additive、Prompt、Reparameterization、Hybrid PEFT。
• 在每一类别中详述代表性技术与机制（如adapter、prompts、mask、reparameterization）。
• 比较优缺点并讨论在不同FM上的部署考量。
• 调研最近在LLMs、VFMs、VLMs、MFMs、VGMs上的应用。
• 强调未来研究方向与潜在的整合框架。

Figure 1: An overview of trends in PEFT methods in various FMs (LLM, VFM, VLM, MFM, and VGM). The number of citations from Semantic Scholar serves as a trend indicator.

实验结果

研究问题

• RQ1 用于适应不同模态的基础模型的主要PEFT策略是什么？
• RQ2 Selective、Additive、Prompt、Reparameterization、Hybrid PEFT在可训练参数、性能和部署权衡方面的比较如何？
• RQ3 在LLMs、VFMs、VLMs、MFMs、VGMs上的PEFT当前应用趋势与差距有哪些？
• RQ4 未来哪些方向可以将PEFT方法统一应用于多样化的基础模型？

主要发现

• PEFT显著减少可训练参数和计算开销，同时力求接近全微调的性能。
• 识别出五大PEFT家族：Selective、Additive、Prompt、Reparameterization、Hybrid，各自具有不同的机制与权衡。
• 在LLMs、VFMs、VLMs、MFMs、VGMs上，adapter、prompt与参数化是主导技术。
• 自动化与基于自动标准的选择方法相比固定的Selective tuning，提供更灵活但在内存/时间上的权衡。
• 混合方法与跨模态适应显示出在更广泛的迁移学习与效率提升方面的潜力。
• 当前综述显示PEFT活跃度提升，重点强调LLMs与视觉基础模型。

Figure 2: Left: Versatile scenarios and applications in the era of FMs. Right: A detailed illustration of four common PEFT methods ( Selective , Additive , Prompt , and Reparameterization PEFT).