[论文解读] RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs

Yue Yu, Wei Ping+6 more|arXiv (Cornell University)|Jul 2, 2024

Natural Language Processing Techniques被引用 5

一句话总结

RankRAG 在一个单一的大语言模型上进行微调，使其能够在检索增强生成（RAG）框架中同时执行上下文排序和答案生成，在多个基准测试上提升相关上下文的召回率和生成质量，包括在没有领域特定微调的情况下的生物医学领域。

ABSTRACT

Large language models (LLMs) typically utilize the top-k contexts from a retriever in retrieval-augmented generation (RAG). In this work, we propose a novel instruction fine-tuning framework RankRAG, which instruction-tunes a single LLM for the dual purpose of context ranking and answer generation in RAG. In particular, the instruction-tuned LLMs work surprisingly well by adding a small fraction of ranking data into the training blend, and outperform existing expert ranking models, including the same LLM exclusively fine-tuned on a large amount of ranking data. For generation, we compare our model with many strong baselines, including GPT-4-0613, GPT-4-turbo-2024-0409, and ChatQA-1.5, an open-sourced model with the state-of-the-art performance on RAG benchmarks. Specifically, our Llama3-RankRAG significantly outperforms Llama3-ChatQA-1.5 and GPT-4 models on nine knowledge-intensive benchmarks. In addition, it also performs comparably to GPT-4 on five RAG benchmarks in the biomedical domain without instruction fine-tuning on biomedical data, demonstrating its superb capability for generalization to new domains.

研究动机与目标

• 动机：解决标准RAG流程的局限性——大量上下文集会影响生成质量，且排序泛化能力有限。
• 目标：设计一个指令微调管线，使单个LLM能够在RAG中实现高召回率的上下文排序和高质量的答案生成。
• 方法：将丰富上下文的问答数据、检索增强的问答数据和排序数据整合到一个用于RAG的统一指令微调框架。
• 证明少量的排序数据也能显著提升排序性能并实现跨领域的泛化。

提出的方法

• 阶段I：使用大量指令遵循数据混合（128K个示例）进行有监督微调（SFT），以实现对指令的遵循。
• 阶段II：统一指令微调，结合五个数据流：丰富上下文的QA、检索增强的QA、上下文排序、检索增强的排序，以及阶段I的SFT数据。
• 所有任务统一为(x, c, y) QA格式，以实现跨任务迁移与相互促进。
• 推理使用 retrieve-rerank-generate 流水线：先检索前N，再用 RankRAG 排序到前K，然后从前K个上下文生成答案。
• 对比强基线进行评估，包括GPT-4系列模型和公开基线，在九个通用领域基准和五个生物医学基准上进行评估。

实验结果

研究问题

• RQ1 单个LLM是否可以在RAG设置中同时有效地对上下文进行排序并生成准确的答案？
• RQ2 将排序数据整合到指令微调中是否会在不进行领域特定微调的情况下提高检索质量和跨领域（通用和生物医学）的泛化能力？
• RQ3 在零样本设置下，RankRAG 与强基线在多种知识密集型任务（开放域问答、事实核验、对话式问答）上的表现如何？
• RQ4 RankRAG 对不同检索器和检索上下文数量的变化是否具有鲁棒性？
• RQ5 重新排序步骤对效率和准确性的影响是什么？

主要发现

• RankRAG 在8B规模上持续优于现有RAG方法，并在多个数据集上与更大基线（包括 ChatQA-1.5）相当。
• RankRAG 在更具挑战性的问答数据集上（例如长尾和多跳任务）显示出更大增益，表明对排序在提升召回率和相关性方面的有效利用。
• 在领域特定的生物医学基准上，RankRAG（8B）超越 Meditron 70B，RankRAG 70B 在若干指标上接近 GPT-4 的性能，显示出强烈的零-shot跨领域泛化能力。
• 消融研究证实，上下文排序、检索增强的QA数据和检索增强的排序数据各自对性能提升有贡献，重新排序带来额外的增益。
• RankRAG 对不同检索器（如 DPR、Contriever-MS MARCO）具有鲁棒性，并且即使初始检索质量不同，仍然比 ChatQA-1.5 保持优势。