[论文解读] Retrieval-Augmented Generation for Large Language Models: A Survey

Yunfan Gao, Yun Xiong+8 more|arXiv (Cornell University)|Dec 18, 2023

Topic Modeling被引用 610

一句话总结

本综述分析 Retrieval-Augmented Generation (RAG) 在 LLMs 中的应用，详细阐述范式、核心组件、评估指标、基准测试以及未来研究方向。

ABSTRACT

Large Language Models (LLMs) showcase impressive capabilities but encounter challenges like hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution by incorporating knowledge from external databases. This enhances the accuracy and credibility of the generation, particularly for knowledge-intensive tasks, and allows for continuous knowledge updates and integration of domain-specific information. RAG synergistically merges LLMs' intrinsic knowledge with the vast, dynamic repositories of external databases. This comprehensive review paper offers a detailed examination of the progression of RAG paradigms, encompassing the Naive RAG, the Advanced RAG, and the Modular RAG. It meticulously scrutinizes the tripartite foundation of RAG frameworks, which includes the retrieval, the generation and the augmentation techniques. The paper highlights the state-of-the-art technologies embedded in each of these critical components, providing a profound understanding of the advancements in RAG systems. Furthermore, this paper introduces up-to-date evaluation framework and benchmark. At the end, this article delineates the challenges currently faced and points out prospective avenues for research and development.

研究动机与目标

• 总结 RAG 范式从 Naive RAG 到 Advanced RAG 再到 Modular RAG 的演变。
• 解析 RAG 的三分基础：检索、生成，以及增强 技术。
• 评述用于检索和生成组件的最先进技术。
• 展示 RAG 模型的评估指标、基准测试以及当前的评估框架。
• 突出挑战并勾勒 RAG 生态系统中的有前景的未来研究方向。

提出的方法

• 将 RAG 架构分类为 Naive RAG、Advanced RAG 和 Modular RAG。
• 分析检索、生成和增强在 RAG 系统中的作用。
• 调查嵌入在每个 RAG 组件中的最先进技术。
• 总结用于评估 RAG 模型的可用指标和基准方法。
• 讨论潜在方向，如多模态、基础设施和生态系统发展。

实验结果

研究问题

• RQ1 主要的 RAG 范式有哪些，它们如何演变？
• RQ2 组成 RAG 系统中检索、生成和增强的技术与组件有哪些？
• RQ3 用于评估 RAG 模型的指标和基准是什么，存在哪些框架？
• RQ4 RAG 研究与部署面临的关键挑战及未来方向是什么？

主要发现

• RAG 系统将 LLM 知识与外部数据源结合，以提升准确性和可信度。
• 本综述将 Naive, Advanced, 和 Modular RAG 描述为逐步发展的范式。
• 它强调核心组件：检索、生成与增强，并在各自领域提出最先进的方法。
• 它总结了用于评估 RAG 性能的评估指标与框架。
• 论文提出未来研究方向，包括多模态扩展与 RAG 生态系统发展。