[论文解读] RAGProbe: An Automated Approach for Evaluating RAG Applications

Shangeetha Sivasothy, Scott Barnett+3 more|arXiv (Cornell University)|Sep 24, 2024

Cardiovascular Function and Risk FactorsMedicine被引用 3

一句话总结

RAGProbe 是一种自动化框架，可生成多样化的、基于场景的问答对，用于评估检索增强生成（RAG）流水线。通过引入六种针对复杂查询模式的评估场景，它识别出关键故障点——尤其在多问题和多文档查询中——相比最先进方法，平均故障率高出 51%。

ABSTRACT

Retrieval Augmented Generation (RAG) is increasingly being used when building Generative AI applications. Evaluating these applications and RAG pipelines is mostly done manually, via a trial and error process. Automating evaluation of RAG pipelines requires overcoming challenges such as context misunderstanding, wrong format, incorrect specificity, and missing content. Prior works therefore focused on improving evaluation metrics as well as enhancing components within the pipeline using available question and answer datasets. However, they have not focused on 1) providing a schema for capturing different types of question-answer pairs or 2) creating a set of templates for generating question-answer pairs that can support automation of RAG pipeline evaluation. In this paper, we present a technique for generating variations in question-answer pairs to trigger failures in RAG pipelines. We validate 5 open-source RAG pipelines using 3 datasets. Our approach revealed the highest failure rates when prompts combine multiple questions: 91% for questions when spanning multiple documents and 78% for questions from a single document; indicating a need for developers to prioritise handling these combined questions. 60% failure rate was observed in academic domain dataset and 53% and 62% failure rates were observed in open-domain datasets. Our automated approach outperforms the existing state-of-the-art methods, by increasing the failure rate by 51% on average per dataset. Our work presents an automated approach for continuously monitoring the health of RAG pipelines, which can be integrated into existing CI/CD pipelines, allowing for improved quality.

研究动机与目标

• 为解决当前 RAG 流水线缺乏自动化、系统化评估的问题，目前仍依赖手动、试错式测试。
• 识别并分类暴露 RAG 系统故障点（如上下文理解错误和响应不完整）的问答对变体。
• 开发基于模式和模板的方法，生成领域特定的、多样化的问答对，以压力测试 RAG 流水线。
• 通过自动化、可重复的评估场景，实现持续集成测试，从而提升 RAG 流水线质量。
• 通过生成更具有效性和故障诱导性的测试用例，超越现有评估框架（如 RAGAS）

提出的方法

• 提出六种不同的评估场景，以代表多样化的问答变体，包括单文档和多文档查询、单个提示中的多个问题，以及分布外查询。
• 设计场景特定的提示策略以及文档采样/分块方法，以生成真实且具有挑战性的测试用例。
• 使用大语言模型基于文档语料库生成问答对，采用源自常见 RAG 故障模式的结构化模板。
• 集成正确性、相关性、完整性、一致性和矛盾性等评估指标，以评估 RAG 输出。
• 在五个开源 RAG 流水线（如 Verba、Danswer、Ragflow）上验证 RAGProbe，使用三个基准数据集：Qasper、Google NQ 和 MS Marco。
• 通过将 RAGProbe 集成到 CI/CD 工作流中，实现流水线健康状况的自动化监控，支持持续评估。

Figure 1. RAGProbe: Our automated approach to generate question-answer pairs. Our approach is extensible by adding different evaluation scenarios and different evaluation metrics.

实验结果

研究问题

• RQ1 与现有评估方法相比，基于场景的问答对在暴露 RAG 流水线故障模式方面的有效性如何？
• RQ2 哪些问答变体——尤其是多问题或跨多文档的查询——最常触发 RAG 流水线故障？
• RQ3 RAGProbe 在检测 RAG 流水线缺陷方面，相比最先进评估框架（如 RAGAS）的优越程度如何？
• RQ4 在自动化测试下，领域特异性（学术领域 vs. 开放领域）如何影响 RAG 流水线的故障率？
• RQ5 基于模板的自动化问答生成能否产生比现有数据生成技术更具有效性和故障诱导性的测试用例？

主要发现

• 在单个文档中组合多个问题的场景下，故障率最高（91%），表明 RAG 流水线设计存在关键缺陷。
• 涉及多个文档中多个问题的场景导致 78% 的故障率，凸显多跳推理和上下文聚合方面的挑战。
• RAGProbe 在所有数据集上的平均故障率相比 RAGAS 提高 51%，证明其在缺陷检测方面具有更强的能力。
• 学术领域数据集（Qasper）的故障率为 60%，而开放领域数据集（Google NQ 和 MS Marco）的故障率分别为 53% 和 62%。
• RAGProbe 在所有数据集上生成了 90–98% 的有效问答对，优于 RAGAS 的 85–93% 有效性，表明其数据质量更高、测试覆盖更全面。
• 评估场景表明，提示设计和文档检索策略显著影响流水线的鲁棒性，尤其是在复杂查询模式下。

Figure 2. Total failure rate combining all 5 RAG pipelines. The failure rate is calculated as the number of failures divided by the total number of questions.