[论文解读] RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

Yucheng Hu, Yuxing Lu|arXiv (Cornell University)|Apr 30, 2024

Topic Modeling被引用 4

一句话总结

本综述全面概述了检索增强型语言模型（RALMs），涵盖检索增强生成（RAG）与检索增强理解（RAU），详细阐述其架构、组件、演化历程及在自然语言处理（NLP）中的应用。文中识别出关键挑战，如检索质量、计算成本与模型鲁棒性，并提出未来研究方向，包括改进评估方法及与先进人工智能技术的融合。

ABSTRACT

Large Language Models (LLMs) have catalyzed significant advancements in Natural Language Processing (NLP), yet they encounter challenges such as hallucination and the need for domain-specific knowledge. To mitigate these, recent methodologies have integrated information retrieved from external resources with LLMs, substantially enhancing their performance across NLP tasks. This survey paper addresses the absence of a comprehensive overview on Retrieval-Augmented Language Models (RALMs), both Retrieval-Augmented Generation (RAG) and Retrieval-Augmented Understanding (RAU), providing an in-depth examination of their paradigm, evolution, taxonomy, and applications. The paper discusses the essential components of RALMs, including Retrievers, Language Models, and Augmentations, and how their interactions lead to diverse model structures and applications. RALMs demonstrate utility in a spectrum of tasks, from translation and dialogue systems to knowledge-intensive applications. The survey includes several evaluation methods of RALMs, emphasizing the importance of robustness, accuracy, and relevance in their assessment. It also acknowledges the limitations of RALMs, particularly in retrieval quality and computational efficiency, offering directions for future research. In conclusion, this survey aims to offer a structured insight into RALMs, their potential, and the avenues for their future development in NLP. The paper is supplemented with a Github Repository containing the surveyed works and resources for further study: https://github.com/2471023025/RALM_Survey.

研究动机与目标

• 为解决自然语言处理中检索增强生成（RAG）与检索增强理解（RAU）缺乏统一、全面综述的问题。
• 提供RALM组件（检索器、语言模型、增强机制）的详细分类与分析，及其相互作用机制。
• 考察RALM在多种NLP任务（如机器翻译、对话系统与知识密集型应用）中的性能、评估方法与局限性。
• 识别关键挑战，如幻觉生成、检索质量、计算成本与对抗性输入下的鲁棒性，并提出未来研究方向。
• 通过提供精选的GitHub资源库，整合已调研文献与学习资料，推动RALM的采用与进一步发展。

提出的方法

• 本文系统性地调研RALM相关文献，将方法划分为以生成为重点的RAG范式与以理解为重点的RAU范式。
• 分析RALM的核心组件：检索器（如BM25、神经检索器）、语言模型（如GPT、BERT）以及增强机制（如提示调优、检索增强微调）。
• 采用以相关性、准确率与鲁棒性为核心的评估指标，包括SAT与ACT等探测方法，用于对抗性鲁棒性测试。
• 提出方法论改进，如梯度引导提示扰动（GGPP），通过分析模型内部状态提升模型鲁棒性。
• 倡导通过即插即用模块（如CRAG、Selfmem）、互联网检索与少样本学习实现低成本部署，以降低训练开销。
• 强调需构建更优的评估框架，以评估检索质量、泛化能力及在扰动下的可靠性。

实验结果

研究问题

• RQ1 检索增强生成（RAG）与检索增强理解（RAU）在NLP任务中的设计与应用有何差异？
• RQ2 RALM的关键架构组件是什么？这些组件的相互作用如何影响模型行为与性能？
• RQ3 当前RALM系统的主要局限性是什么，特别是在检索质量、计算效率与对抗性输入鲁棒性方面？
• RQ4 如何改进RALM的评估方法，以更真实地反映其在现实场景中的性能与可靠性？
• RQ5 未来哪些研究方向可提升RALM在NLP中的可扩展性、鲁棒性与应用多样性？

主要发现

• RALM通过整合外部知识，在机器翻译、对话系统与知识图谱补全等NLP任务中显著提升性能。
• 检索与语言模型的结合可有效减少幻觉生成，增强事实一致性，尤其在知识密集型应用中表现突出。
• 鲁棒性仍是关键挑战；GGPP等方法通过梯度引导提示扰动与内部状态探测，已证明可有效提升模型抗干扰能力。
• 检索质量至关重要——通过数据精炼（如人工标注）与先进重排序技术（如BM25、TF-IDF）可显著提升输出相关性。
• 低成本部署策略（如即插即用模块，如CRAG、Llama Index）与少样本学习可有效降低计算开销，且不损害性能。
• 与通用大语言模型（LLMs）相比，RALM的应用范围仍较有限；拓展至决策支持、搜索引擎与推荐系统等新领域，是极具前景的未来方向。