[论文解读] Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models

Zhiyuan Peng, Xuyang Wu+3 more|arXiv (Cornell University)|Apr 6, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 Q-PEFT，一种用于大语言模型文本重排序的查询相关参数高效微调方法。通过利用查询从文档中提取 top-k 个标记作为上下文线索，并以多头注意力层替代检索过程，Q-PEFT 实现了端到端训练，生成更具文档特异性的合成查询，在四个公开数据集上显著提升了重排序性能，同时仅需极少的参数更新。

ABSTRACT

Parameter Efficient Fine-Tuning (PEFT) methods have been extensively utilized in Large Language Models (LLMs) to improve the down-streaming tasks without the cost of fine-tuing the whole LLMs. Recent studies have shown how to effectively use PEFT for fine-tuning LLMs in ranking tasks with convincing performance; there are some limitations, including the learned prompt being fixed for different documents, overfitting to specific tasks, and low adaptation ability. In this paper, we introduce a query-dependent parameter efficient fine-tuning (Q-PEFT) approach for text reranking to leak the information of the true queries to LLMs and then make the generation of true queries from input documents much easier. Specifically, we utilize the query to extract the top-$k$ tokens from concatenated documents, serving as contextual clues. We further augment Q-PEFT by substituting the retrieval mechanism with a multi-head attention layer to achieve end-to-end training and cover all the tokens in the documents, guiding the LLMs to generate more document-specific synthetic queries, thereby further improving the reranking performance. Extensive experiments are conducted on four public datasets, demonstrating the effectiveness of our proposed approach.

研究动机与目标

• 解决现有参数高效微调（PEFT）方法在文本重排序中固定提示和泛化能力差的局限性。
• 通过使提示学习依赖于输入查询，提升大语言模型重排序的相关性理解能力。
• 通过从文档中动态生成与查询相关的上下文线索，减少过拟合并增强模型适应能力。
• 通过用多头注意力机制替代传统检索步骤，实现端到端训练，提升语义整合效果。
• 在仅更新极少参数的前提下实现最先进水平的重排序性能，避免对大模型进行完整微调。

提出的方法

• 一个查询相关模块利用查询作为关键信息，从拼接的查询-文档对中提取 top-k 个标记，识别显著的上下文线索。
• 该方法采用基于查询感知注意力的检索机制，识别相关文档片段，替代传统的硬性检索。
• 集成多头注意力层以替代检索步骤，实现端到端训练并完整覆盖文档中的所有标记。
• 该方法冻结原始大语言模型参数，仅微调一个小型可学习适配器模块，确保参数效率。
• 基于注意力引导的上下文线索生成合成查询，提升查询与文档之间的相关性评分。
• 通过四个公开数据集上的 Recall@10 对框架进行评估，比较不同检索器和训练规模下的性能表现。

实验结果

研究问题

• RQ1 查询相关提示学习能否提升 PEFT 方法在文本重排序中的泛化能力和适应性？
• RQ2 用多头注意力层替代硬性检索对端到端训练和重排序性能有何影响？
• RQ3 查询感知的标记提取在多大程度上增强了大语言模型对文档特异性相关性的建模能力？
• RQ4 训练规模如何影响 Q-PEFT 方法在不同数据集上的稳定性和性能表现？
• RQ5 在零样本和少样本重排序场景下，Q-PEFT 能否超越现有的 PEFT 和非 PEFT 基线方法？

主要发现

• 在 NQ 和 WebQ 数据集上，采用多头注意力层的 Q-PEFT-A 模型相比 Q-PEFT-R 表现更稳定且峰值性能更高。
• 在 NQ 数据集上，Q-PEFT-R 的性能随训练规模变化波动明显，先上升后下降再回升，表明其性能不稳定。
• 在 WebQ 数据集上，Q-PEFT-A 随训练规模增加表现出持续且稳定的性能提升，峰值性能高于 Q-PEFT-R。
• 在所有四个数据集上，该方法均显著优于 UPR 基线，且在不同检索器下 Recall@10 均保持一致的性能提升。
• 提示 p4 在所有数据集中均表现出最一致且最优的性能，有效降低了模型输出的变异性。