[论文解读] Towards Understanding Retrieval Accuracy and Prompt Quality in RAG Systems

Shaohua Zhao, Yuheng Huang+4 more|arXiv (Cornell University)|Nov 29, 2024

Fault Detection and Control Systems被引用 4

一句话总结

本文对三种核心RAG部署决策——是否使用RAG、检索量大小以及如何整合检索到的知识——在三种大语言模型（LLMs）和六个数据集上进行了系统的实证研究。研究发现，RAG的成功高度依赖于任务和模型，最佳检索量在问答任务中为5–10篇文档，而代码生成任务则需要针对具体场景进行调优；提示工程方法在代码生成中显著提升了性能，但在问答任务中收益甚微。

ABSTRACT

Retrieval-Augmented Generation (RAG) is a pivotal technique for enhancing the capability of large language models (LLMs) and has demonstrated promising efficacy across a diverse spectrum of tasks. While LLM-driven RAG systems show superior performance, they face unique challenges in stability and reliability. Their complexity hinders developers' efforts to design, maintain, and optimize effective RAG systems. Therefore, it is crucial to understand how RAG's performance is impacted by its design. In this work, we conduct an early exploratory study toward a better understanding of the mechanism of RAG systems, covering three code datasets, three QA datasets, and two LLMs. We focus on four design factors: retrieval document type, retrieval recall, document selection, and prompt techniques. Our study uncovers how each factor impacts system correctness and confidence, providing valuable insights for developing an accurate and reliable RAG system. Based on these findings, we present nine actionable guidelines for detecting defects and optimizing the performance of RAG systems. We hope our early exploration can inspire further advancements in engineering, improving and maintaining LLM-driven intelligent software systems for greater efficiency and reliability.

研究动机与目标

• 识别并分析影响实际性能的检索增强生成（RAG）系统中的基本工程权衡。
• 探究通用RAG策略在多样化任务和模型中是否有效。
• 为从业者提供基于证据的指导，明确何时以及如何有效部署RAG。
• 理解检索量和提示策略如何影响大语言模型下游任务的准确性。

提出的方法

• 在涵盖问答和代码生成任务的六个数据集上，对三种大语言模型（LLMs）系统性地开展实验。
• 评估三个核心RAG设计决策：部署选择、检索数量以及通过提示工程实现的知识整合。
• 在不同模型和任务配置下，使用任务特定指标测量检索准确率和提示质量。
• 通过受控的消融研究，隔离检索量和提示技术对模型输出的影响。
• 采用可变召回阈值，评估在检索不完美情况下的失败模式和鲁棒性。
• 使用定量性能指标分析任务特定的最优检索量和整合有效性模式。

实验结果

研究问题

• RQ1 在什么情况下应部署RAG？哪些因素决定了单个样本上RAG的成功或失败？
• RQ2 不同任务的最优检索文档数量是多少？该数量在问答和代码生成任务之间是否存在差异？
• RQ3 提示策略的选择如何影响RAG系统中知识整合的有效性？
• RQ4 检索准确率和提示质量在多大程度上共同影响RAG管道的最终输出质量？
• RQ5 是否存在适用于多样化任务的通用RAG配置？还是上下文感知设计至关重要？

主要发现

• RAG部署必须高度具有选择性，因为即使在检索到完美文档的情况下，仍有高达12.6%的样本会因任务特定的失败模式而失败。
• 在问答任务中，5–10篇文档的最优检索量在所有模型和数据集中均一致优于其他设置。
• 代码生成任务需要针对具体场景优化检索量，因为未观察到通用的最优范围。
• 提示工程方法显著提升了代码生成中的知识整合效果，但在问答任务中影响甚微。
• 知识整合的有效性强烈依赖于任务特征和模型能力，这削弱了通用RAG策略的可行性。
• 本研究证明，有效的RAG系统需要基于上下文感知的设计决策，而非“一刀切”的配置。