[论文解读] Retrieval-Augmented Generation for Natural Language Processing: A Survey
对 NLP 的检索增强生成（RAG）的全面综述，详细介绍检索器、融合策略、训练、生成器、应用以及未来挑战，并提供代表性技术的教程代码。
Large language models (LLMs) have demonstrated great success in various fields, benefiting from their huge amount of parameters that store knowledge. However, LLMs still suffer from several key issues, such as hallucination problems, knowledge update issues, and lacking domain-specific expertise. The appearance of retrieval-augmented generation (RAG), which leverages an external knowledge database to augment LLMs, makes up those drawbacks of LLMs. This paper reviews all significant techniques of RAG, especially in the retriever and the retrieval fusions. Besides, tutorial codes are provided for implementing the representative techniques in RAG. This paper further discusses the RAG update, including RAG with/without knowledge update. Then, we introduce RAG evaluation and benchmarking, as well as the application of RAG in representative NLP tasks and industrial scenarios. Finally, this paper discusses RAG's future directions and challenges for promoting this field's development.
研究动机与目标
- 解释使用外部知识库来缓解大型语言模型（LLM）产生幻觉和知识更新问题的动机。
- 系统性评审 RAG 的组成部分，包括检索器、数据存储设计和融合方法。
- 提出带更新和不带数据存储更新的 RAG 训练策略。
- 综述 RAG 在自然语言处理任务和工业场景中的应用。
- 指出推进 RAG 研究与应用的未来方向与挑战。
提出的方法
- 描述由检索器、生成器和检索融合组成的 RAG 架构（基于查询的、潜在的、基于 logits 的融合）。
- 详细说明检索器的构建：将语料分块、对分块进行编码，以及构建向量索引和数据存储。
- 对检索融合技术进行分类与解释：基于查询的（文本/特征拼接）、基于 logits 的（集成、校准）、以及潜在的（基于注意力、加权相加）。
- 概述生成器类型以及如何将检索增强整合到其中。
- 讨论带/不带数据存储更新的 RAG 训练方法及其影响。
实验结果
研究问题
- RQ1在 NLP 中检索增强生成的关键组成部分和设计选择是什么？
- RQ2不同的检索器架构、索引策略和融合方法如何影响 RAG 的性能？
- RQ3带/不带数据存储更新的 RAG 的有效训练策略是什么？
- RQ4RAG 如何应用于各种 NLP 任务和真实世界的工业场景？
- RQ5哪些未来方向和挑战最有利于推进 RAG？
主要发现
- RAG 将检索器、融合和生成器结合起来，以减轻幻觉并使领域知识保持最新。
- 检索器使用分块、编码和近似最近邻（ANN）索引来构建可扩展的检索数据存储。
- 融合方法分为基于查询、基于 logits 和潜在融合三类，涉及文本/特征、集成、校准和注意力机制。
- RAG 训练可以带有也可以不带数据存储更新进行，各自具有不同的优点。
- 该综述讨论了在代表性 NLP 任务与行业环境中的应用，并强调未来方向与挑战。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。