[论文解读] PEFT-Ref: A Modular Reference Architecture and Typology for Parameter-Efficient Finetuning Techniques

Mohammed Sabry, Anja Belz|arXiv (Cornell University)|Apr 24, 2023

Topic Modeling被引用 4

一句话总结

本文提出了 PEFT-Ref，一种模块化的参考架构与分类法，用于标准化参数高效微调（PEFT）技术的结构与功能特性。通过隔离模块连接性、插入位置和组合方式的差异，该方法实现了在下游任务中对 PEFT 方法在效率、性能和可重用性方面的系统性比较。

ABSTRACT

Recent parameter-efficient finetuning (PEFT) techniques aim to improve over the considerable cost of fully finetuning large pretrained language models (PLM). As different PEFT techniques proliferate, it is becoming difficult to compare them, in particular in terms of (i) the structure and functionality they add to the PLM, (ii) the different types and degrees of efficiency improvements achieved, (iii) performance at different downstream tasks, and (iv) how differences in structure and functionality relate to efficiency and task performance. To facilitate such comparisons, this paper presents a reference architecture which standardises aspects shared by different PEFT techniques, while isolating differences to specific locations and interactions with the standard components. Through this process of standardising and isolating differences, a modular view of PEFT techniques emerges, supporting not only direct comparison of different techniques and their efficiency and task performance, but also systematic exploration of reusability and composability of the different types of finetuned modules. We demonstrate how the reference architecture can be applied to understand properties and relative advantages of PEFT techniques, hence to inform selection of techniques for specific tasks, and design choices for new PEFT techniques.

研究动机与目标

• 为解决由于结构和评估指标不一致，导致多样化的 PEFT 技术难以比较的问题。
• 在 PEFT 方法之间标准化共享组件，同时隔离差异，以实现直接比较。
• 开发一种模块化分类法，以捕捉 PEFT 模块的结构与功能特性，提升可重用性与可组合性。
• 基于其架构与功能特性，指导特定下游任务中 PEFT 技术的选择。
• 通过识别影响效率与性能的关键模块化因素，为新 PEFT 方法的设计提供指导。

提出的方法

• 提出一种模块化参考架构，将 PEFT 技术分解为标准组件：预训练语言模型（PLM）和可插入的 PEFT 模块。
• 定义七种核心模块化属性：内部连接性、外部连接性、插入位置、组合函数、功能形式、输入类型和修改后的表示形式。
• 利用参考架构，基于这些标准化属性对七种主流 PEFT 技术（如 LoRA、Adapter、Prefix Tuning）进行表征。
• 将分类法应用于跨效率（参数量、FLOPs）和性能（下游任务准确率）比较 PEFT 方法。
• 引入一种功能形式抽象，将 PEFT 模块视为 Project-down → Nonlinear/Linear → Project-up，同时区分输入类型与修改后的表示形式。
• 通过将 PLM 的内部工作空间与修改后的表示形式分离，强调模块化设计，避免将位置误认为是表示形式。

实验结果

研究问题

• RQ1 如何基于结构与功能差异，系统性地比较 PEFT 技术？
• RQ2 PEFT 模块的哪些架构与功能特性与效率和下游性能最强相关？
• RQ3 PEFT 技术在不同任务与模型之间可组合或可重用的程度如何？
• RQ4 插入位置、连接性与组合方式的差异如何影响参数效率与模型性能之间的权衡？
• RQ5 何种标准化框架能够促进更清晰的设计选择，并推动未来更优 PEFT 方法的发展？

主要发现

• PEFT-Ref 框架通过标准化共享组件并隔离模块结构与功能的差异，实现了对 PEFT 技术的直接比较。
• 内部连接性与外部连接性类型（如密集连接与稀疏连接）显著影响模块化与效率，大多数 PEFT 方法采用密集连接。
• 在 Transformer 架构中的插入位置（如注意力层或前馈层之后）会影响性能与参数效率，部分位置表现出更好的泛化能力。
• 并非所有 PEFT 方法都遵循 Project-down → Nonlinear/Linear → Project-up 的功能形式，表明先前统一视角存在局限。
• 该框架揭示了 Prompt Tuning 和 (IA)³ 等方法并不依赖残差连接，挑战了关于标准集成模式的既有假设。
• 该分类法支持对可组合性与可重用性的系统性探索，为未来实际应用中模块化 PEFT 的设计与选择提供了基础。