[论文解读] Prefix-Tuning: Optimizing Continuous Prompts for Generation
前缀调优冻结语言模型，训练一个小型连续前缀以引导生成，在参数量比微调少出1000倍的情况下实现与微调相当的结果，并在低数据及外推设置中表现更好。
Fine-tuning is the de facto way to leverage large pretrained language models to perform downstream tasks. However, it modifies all the language model parameters and therefore necessitates storing a full copy for each task. In this paper, we propose prefix-tuning, a lightweight alternative to fine-tuning for natural language generation tasks, which keeps language model parameters frozen, but optimizes a small continuous task-specific vector (called the prefix). Prefix-tuning draws inspiration from prompting, allowing subsequent tokens to attend to this prefix as if it were "virtual tokens". We apply prefix-tuning to GPT-2 for table-to-text generation and to BART for summarization. We find that by learning only 0.1\% of the parameters, prefix-tuning obtains comparable performance in the full data setting, outperforms fine-tuning in low-data settings, and extrapolates better to examples with topics unseen during training.
研究动机与目标
- 为大型预训练语言模型在生成任务中提供一个全量微调的轻量级替代方案的动机。
- 引入一种在保持语言模型参数固定的同时训练一个小型连续前缀的方法。
- 展示前缀调优在表述转文本和抽象摘要任务上的高效性和有效性。
- 在全数据、低数据和外推情景下评估前缀调优，以评估泛化性和可扩展性。
提出的方法
- 在自回归语言模型或编码器-解码器模型的输入前附加一个可训练的连续前缀。
- 用一个大小为 |P_idx| × dim(h_i) 的可训练矩阵 P_theta 表示前缀，通过一个多层感知机（MLP）进行重新参数化以提高稳定性。
- 在训练期间冻结语言模型参数 phi，只优化前缀参数 theta。
- 将前缀激活初始化为随机值或真实单词激活，展示初始化的影响，特别是在低数据设置中。
- 在表述转文本（GPT-2 变体）和摘要（BART）任务中，将前缀调优与微调、顶层微调和适配器调优进行比较。
- 使用标准生成目标（对数似然）并采用一致的解码设置（束搜索等）。
实验结果
研究问题
- RQ1在不更新整个语言模型参数的情况下，是否可以用一个小型连续前缀引导生成任务？
- RQ2在全数据和低数据制度下，前缀调优与全量微调及轻量基线在表述转文本和摘要任务中的比较如何？
- RQ3前缀调优在未见主题或领域上的泛化（外推）是否优于微调？
- RQ4前缀长度、初始化和位置（前缀与中缀）对性能有什么影响？
- RQ5前缀调优在多任务/多用户个性化情景下是否具备可扩展性和批处理友好性？
主要发现
- 仅更新0.1%的参数，前缀调优在表述转文本任务上达到与微调相当的表现。
- 在低数据设置下，前缀调优在各任务中均优于微调。
- 前缀调优在未见主题上的外推能力优于微调。
- 前缀调优从 GPT-2 medium 到 large 规模都能维持较强性能，同时大幅减少任务特定参数。
- 使用真实单词激活进行初始化在性能上有所提升，尤其在低数据情境中。
- 相对于适配器调优，前缀调优在帕累托效率上仍然高效，使用更少参数实现类似或更好的结果。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。