[论文解读] RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation

Dongyu Ru, Lin Qiu+16 more|arXiv (Cornell University)|Aug 15, 2024

Natural Language Processing Techniques被引用 9

一句话总结

RagChecker 提供对 RAG 系统中检索与生成的细粒度、基于主张的评估指标，与基线相比与人类判断的相关性更强，并分析十个领域中的八个 RAG 系统。

ABSTRACT

Despite Retrieval-Augmented Generation (RAG) showing promising capability in leveraging external knowledge, a comprehensive evaluation of RAG systems is still challenging due to the modular nature of RAG, evaluation of long-form responses and reliability of measurements. In this paper, we propose a fine-grained evaluation framework, RAGChecker, that incorporates a suite of diagnostic metrics for both the retrieval and generation modules. Meta evaluation verifies that RAGChecker has significantly better correlations with human judgments than other evaluation metrics. Using RAGChecker, we evaluate 8 RAG systems and conduct an in-depth analysis of their performance, revealing insightful patterns and trade-offs in the design choices of RAG architectures. The metrics of RAGChecker can guide researchers and practitioners in developing more effective RAG systems. This work has been open sourced at https://github.com/amazon-science/RAGChecker.

研究动机与目标

• 鉴于其模块化的检索器和生成器组件，推动对 Retrieval-Augmented Generation（RAG）系统进行鲁棒评估
• 开发 RagChecker，提供对检索与生成都可进行细粒度、基于主张的诊断性指标
• 展示元评估，证明 RagChecker 与人类判断的一致性优于现有度量标准
• 在一个多样化、跨域基准上，对八个前沿 RAG 系统进行实证分析，以揭示设计权衡

提出的方法

• 将 RagChecker 定义为一个带有基准和细粒度指标的模块化 RAG 评估框架
• 从回答和真实答案中进行主张提取，以实现基于主张的蕴涵检测
• 计算整体、检索器特定和生成器特定的指标，包括精准度、召回率、F1、主张召回、上下文准确性、忠实性和噪声敏感性
• 对人类判断数据集进行标注，以验证 RagChecker 指标与人类判断之间的相关性
• 在一个 4,162 查询、10 域基准上，对八个具有不同检索器和生成器的 RAG 系统进行评估
• 进行元评估，与基线框架相比，确立与人类判断的预测对齐度

Figure 1 : Illustration of the proposed metrics in RagChecker . The upper Venn diagram depicts the comparison between a model response and the ground truth answer, showing possible correct( ), incorrect( ), and missing claims( ). The retrieved chunks are classified into two categories based on the t

实验结果

研究问题

• RQ1 细粒度主张级指标与人类对 RAG 质量判断的相关性有多强？
• RQ2 RagChecker 指标提供了哪些关于检索错误与生成错误的诊断信号？
• RQ3 检索器与生成器的设计选择如何影响整体 RAG 性能与错误来源？
• RQ4 RagChecker 是否能揭示检索质量、噪声敏感性与忠实性之间的权衡？

主要发现

• RagChecker 与人类判断在正确性、完整性和总体评估方面的相关性，优于基线指标。
• 更好的检索器在所有生成器上都能持续提升总体性能，表明检索质量至关重要。
• 生成器对上下文的利用在各种设置下与总体 F1 性能密切相关。
• 开源生成器趋向于忠实性，但在更好检索条件下，难以将准确信息与噪声区分开来。
• 增加检索上下文的数量和规模可提升忠实性、减少幻觉，但可能提高噪声敏感性。
• 该框架揭示了上下文利用、噪声敏感性与忠实性之间的权衡，为有针对性的改进提供指导。

Figure 2 : The prompt used for converting short answers to long-form answers for the domains of Novel, Finance, Lifestyle, Recreation, Technology, Science, and Writing.