[论文解读] ReFT: Representation Finetuning for Language Models

Zhengxuan Wu, Aryaman Arora+5 more|arXiv (Cornell University)|Apr 4, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出表示微调（ReFT），一种新颖的参数高效方法，通过修改冻结语言模型中的隐藏表示而非更新权重来实现。ReFT，尤其是其LoReFT变体，在常识推理、算术、指令微调和GLUE基准测试中，相比LoRA参数量减少15倍至65倍，实现了最先进性能，证明了表示编辑是比基于权重的参数高效微调更高效、更有效的替代方案。

ABSTRACT

Parameter-efficient finetuning (PEFT) methods seek to adapt large neural models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. We pursue this hypothesis by developing a family of Representation Finetuning (ReFT) methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT), and we identify an ablation of this method that trades some performance for increased efficiency. Both are drop-in replacements for existing PEFTs and learn interventions that are 15x--65x more parameter-efficient than LoRA. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, instruction-tuning, and GLUE. In all these evaluations, our ReFTs deliver the best balance of efficiency and performance, and almost always outperform state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.

研究动机与目标

• 探索在微调大语言模型时，编辑模型表示是否比更新权重更有效。
• 开发一类基于冻结基础模型的参数高效方法家族——ReFT，通过学习对隐藏表示进行任务特定干预来实现。
• 设计ReFT的一个高度高效实例LoReFT，利用低秩线性子空间以最少参数操纵表示。
• 在多种基准测试（包括常识推理、算术、指令微调和GLUE）上评估ReFT，以证明其优于现有参数高效微调方法。
• 发布一个通用的ReFT训练库，以促进表示基础微调的广泛应用和进一步研究。

提出的方法

• ReFT在冻结的基础语言模型上运行，通过微调学习对隐藏表示进行任务特定干预。
• 核心方法LoReFT使用低秩线性子空间对隐藏表示进行投影和修改，受分布式对齐搜索（DAS）启发。
• LoReFT将干预参数化为应用于隐藏状态的低秩矩阵，实现高效且有效的表示编辑。
• 消融实验DiReFT通过使用对角投影矩阵进一步减少参数量，以牺牲部分性能换取更高效率。
• 干预通过标准反向传播端到端训练，基础模型权重保持冻结，学习到的编辑在推理时应用。
• 该方法可作为LoRA等现有参数高效微调方法的即插即用替代方案，无需对基础模型架构进行任何修改。

实验结果

研究问题

• RQ1 在冻结语言模型中编辑隐藏表示，是否能实现比基于权重的参数高效微调更好的性能和效率？
• RQ2 在参数效率和下游任务性能方面，表示编辑与权重更新相比如何？
• RQ3 对表示应用低秩线性子空间干预，是否能匹配或超越SOTA参数高效微调方法（如LoRA）的性能？
• RQ4 ReFT在模型规模增大时是否能有效扩展，特别是在Llama-3 8B等大模型上？
• RQ5 ReFT能否在多样化的NLP任务中泛化，包括常识推理、算术、指令微调和自然语言理解？

主要发现

• LoReFT在所有评估基准上（包括常识推理、算术、指令微调和GLUE）均达到最先进性能，且参数量仅为LoRA的1/15至1/65。
• 在LLaMA-3 8B模型上，LoReFT在所有任务中均优于所有基线参数高效微调方法，包括LoRA，展现出更优的效率与有效性。
• 在常识推理任务（如BoolQ、HellaSwag）中，LoReFT仅使用0.1%的参数更新，即可达到与全量微调相当的性能。
• 在算术推理任务（如GSM8K、AQuA）中，LoReFT在显著更少的可训练参数下，性能与LoRA持平或更优。
• DiReFT消融实验在性能损失极小的情况下实现了更高的效率，表明表示编辑可被实现为极低参数量的高效方法。
• ReFT库已公开发布于 https://github.com/stanfordnlp/pyreft，支持可复现性及未来在表示基础微调方向的研究。