[论文解读] Sparse Structure Search for Parameter-Efficient Tuning

Shengding Hu, Zhen Zhang+5 more|arXiv (Cornell University)|Jun 15, 2022

Modular Robots and Swarm Intelligence被引用 6

一句话总结

S3 PET 提出了一种可微分的、双层优化框架，用于在预训练模型中自动搜索稀疏的、参数高效的微调（PET）结构，通过使用偏移全局Sigmoid函数显式控制可训练参数数量。该方法仅使用0.01%的可训练参数即可实现超过99%的全量微调性能，优于人工设计的结构，同时在不同任务间保持良好的可迁移性。

ABSTRACT

Adapting large pre-trained models (PTMs) through fine-tuning imposes prohibitive computational and storage burdens. Recent studies of parameter-efficient tuning (PET) find that only optimizing a small portion of parameters conditioned on PTMs could yield on-par performance compared to conventional fine-tuning. Generally, PET methods exquisitely design parameter-efficient modules (PET modules) which could be applied to arbitrary fine-grained positions inside PTMs. However, the effectiveness of these fine-grained positions largely relies on sophisticated manual designation, thereby usually producing sub-optimal results. In contrast to the manual designation, we explore constructing PET modules in an automatic manner. We automatically extbf{S}earch for the extbf{S}parse extbf{S}tructure of extbf{P}arameter- extbf{E}fficient extbf{T}uning (S$^3$PET). Based on a unified framework of various PET methods, S$^3$PET conducts the differentiable PET structure search through bi-level optimization and proposes shifted global sigmoid method to explicitly control the number of trainable parameters. Extensive experiments show that S$^3$PET surpasses manual and random structures with less trainable parameters. The searched structures preserve more than 99\% fine-tuning performance with 0.01\% trainable parameters. Moreover, the advantage of S$^3$PET is amplified with extremely low trainable parameters budgets (0.0009\%$\sim$0.01\%). The searched structures are transferable and explainable, providing suggestions and guidance for the future design of PET methods.

研究动机与目标

• 为解决人工设计的PET模块在参数高效微调中效率低下且次优的问题。
• 自动发现最优的、稀疏的PET模块结构，以在严格的参数预算下实现最大性能。
• 开发一种在结构搜索过程中显式控制可训练参数数量的方法。
• 创建可迁移且可解释的PET结构，使其在下游任务中具有良好的泛化能力。

提出的方法

• 通过在预训练模型的所有层和位置上对所有潜在PET模块应用概率门控与结构参数，构建统一的搜索空间。
• 采用双层优化联合优化架构（结构参数）与模型权重，实现可微分的结构搜索。
• 引入偏移全局Sigmoid函数，显式控制稀疏性，并在搜索过程中强制实现目标可训练PET模块数量。
• 将PET结构搜索视为约束神经架构搜索问题，利用性能反馈引导结构选择。
• 在一个统一且灵活的搜索空间中支持多种PET模块（如适配器、LoRA、BitFit），实现端到端优化。
• 以预训练主干模型为基础，避免从零开始训练，专注于高效结构搜索。

实验结果

研究问题

• RQ1 在严格的参数预算下，一种自动化的可微分方法能否发现比人工设计结构更有效的PET模块结构？
• RQ2 如何在结构搜索过程中显式控制稀疏性，以满足特定的参数效率需求？
• RQ3 所搜索的PET结构在不同下游NLP任务间的泛化能力如何？
• RQ4 最优PET模块位置中是否存在可识别的模式？这些模式是否可解释且在不同数据集间保持一致？
• RQ5 当可训练参数数量极低时（例如0.0009%–0.01%），所搜索结构的性能与基线相比如何？

主要发现

• S3 PET 在GLUE基准上仅使用0.01%的可训练参数，即可实现全量微调99%的性能，显著优于人工设计的结构。
• 在SuperGLUE上，S3 PET在相同的0.01%参数预算下恢复了98%的全量微调性能。
• 该方法在仅使用约1/5的可训练参数的情况下，性能仍优于或等同于人工设计结构。
• 所搜索的结构具有高度可迁移性：在源数据集上搜索后，于目标任务上微调时，通常优于直接在目标数据集上搜索的结构。
• 偏移全局Sigmoid方法在稀疏性控制和性能方面优于$L_0$正则化，尤其在超低参数预算下表现更优。
• 可视化结果表明，高层自注意力和交叉注意力模块中更偏好使用BitFit模块，且编码器和解码器的最后几层始终被显著强调。