[论文解读] Novelty Controlled Paraphrase Generation with Retrieval Augmented Conditional Prompt Tuning
本文提出检索增强提示调优（RAPT）和新颖性条件提示调优（NC-RAPT），用于使用大规模预训练语言模型实现参数高效且可控的改写生成。通过将kNN检索的示例整合到连续提示调优中，并引入针对不同词汇新颖性水平的专用提示标记，该方法在四个数据集上提升了改写质量和可控性，优于标准微调和基线适应方法。
Paraphrase generation is a fundamental and long-standing task in natural language processing. In this paper, we concentrate on two contributions to the task: (1) we propose Retrieval Augmented Prompt Tuning (RAPT) as a parameter-efficient method to adapt large pre-trained language models for paraphrase generation; (2) we propose Novelty Conditioned RAPT (NC-RAPT) as a simple model-agnostic method of using specialized prompt tokens for controlled paraphrase generation with varying levels of lexical novelty. By conducting extensive experiments on four datasets, we demonstrate the effectiveness of the proposed approaches for retaining the semantic content of the original text while inducing lexical novelty in the generation.
研究动机与目标
- 开发一种用于大规模预训练语言模型在改写生成任务中的参数高效微调方法。
- 通过将kNN检索的示例整合到提示调优中，提升改写质量。
- 通过专用提示标记实现对生成改写中词汇新颖性的显式控制。
- 在增加词汇多样性的同时保持语义一致性。
- 提供一种与模型无关的连续空间提示调优框架，兼容标准预训练模型。
提出的方法
- RAPT 将基于kNN的检索方法获取的相关训练样本整合到连续提示调优中，通过检索到的上下文增强提示嵌入。
- 该方法使用预训练的基于GPT的模型，并将改写生成建模为使用提示模板的自动补全任务：'Input: [x] \n Paraphrase: [y]'。
- NC-RAPT 引入专用提示标记，以根据期望的词汇新颖性水平（如与输入的低、中、高编辑距离）对模型进行条件控制。
- 提示调优在连续空间中进行，允许通过梯度更新学习最优提示嵌入，而无需微调整个模型。
- 检索到的示例被用于增强提示上下文，通过提供相关的上下文示例来提升生成质量。
- 该方法与模型无关，兼容标准预训练模型，避免架构修改或预训练/微调不一致的问题。
实验结果
研究问题
- RQ1与标准提示调优相比，检索增强提示调优是否能提升改写生成质量？
- RQ2在连续空间中结合检索示例的提示调优是否能提升改写的语义一致性和词汇多样性？
- RQ3专用提示标记是否能有效控制生成改写中的词汇新颖性水平？
- RQ4NC-RAPT 在改写质量和新颖性控制方面与标准微调及其他参数高效方法相比表现如何？
- RQ5将kNN检索与提示调优结合是否能在多个改写数据集上实现泛化？
主要发现
- RAPT 在四个改写数据集上的自动评估和人工评估指标中均优于标准微调及其他参数高效方法（如适配器调优、LoRA）。
- 将kNN检索的示例整合到提示调优中显著提升了改写质量，尤其在语义相似性和流畅性方面。
- NC-RAPT 有效实现了对生成改写中词汇新颖性的可控生成，通过编辑距离衡量，且未牺牲语义一致性。
- 人工评估确认，NC-RAPT 生成的改写在多样性方面感知更优，且不那么平庸。
- 该方法在保持与输入高度语义相似性的同时，实现了对词汇多样性的系统性控制，证明了基于提示的新颖性控制的有效性。
- 该方法在标准基准上达到最先进性能，同时仅需少量可训练参数。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。