[论文解读] Retrieval-Augmented Generation for AI-Generated Content: A Survey

Penghao Zhao, Hailin Zhang+8 more|arXiv (Cornell University)|Feb 29, 2024

Topic Modeling被引用 75

一句话总结

对 Retrieval-Augmented Generation (RAG) 的全面综述，详细介绍基础、增强、跨模态的应用、基准、局限性及未来方向。

ABSTRACT

Advancements in model algorithms, the growth of foundational models, and access to high-quality datasets have propelled the evolution of Artificial Intelligence Generated Content (AIGC). Despite its notable successes, AIGC still faces hurdles such as updating knowledge, handling long-tail data, mitigating data leakage, and managing high training and inference costs. Retrieval-Augmented Generation (RAG) has recently emerged as a paradigm to address such challenges. In particular, RAG introduces the information retrieval process, which enhances the generation process by retrieving relevant objects from available data stores, leading to higher accuracy and better robustness. In this paper, we comprehensively review existing efforts that integrate RAG technique into AIGC scenarios. We first classify RAG foundations according to how the retriever augments the generator, distilling the fundamental abstractions of the augmentation methodologies for various retrievers and generators. This unified perspective encompasses all RAG scenarios, illuminating advancements and pivotal technologies that help with potential future progress. We also summarize additional enhancements methods for RAG, facilitating effective engineering and implementation of RAG systems. Then from another view, we survey on practical applications of RAG across different modalities and tasks, offering valuable references for researchers and practitioners. Furthermore, we introduce the benchmarks for RAG, discuss the limitations of current RAG systems, and suggest potential directions for future research. Github: https://github.com/PKU-DAIR/RAG-Survey.

研究动机与目标

• 提供对 RAG 基础的系统性概述，涵盖检索器与生成器。
• 总结用于 RAG 系统的增强技术与实际工程实践。
• 在多模态领域对 RAG 的应用进行综述（文本、代码、图像、音频、视频、KBQA、科学等）。
• 讨论 RAG 研究与实践的基准、局限性及未来方向。

提出的方法

• 将 RAG 基础按检索器如何增强生成器的方式划分为四种范式：基于查询、基于潜在表示、基于对数几率以及其他。
• 描述生成器类别（Transformer、LSTM、扩散、GAN）和检索器类别（稀疏、密集、其他）。
• 总结用于改进 RAG 流水线的增强方法和实际实现。
• 评述跨模态和领域特定的 RAG 应用及整合策略（FiD、分块跨注意力、记忆增强方法）。
• 整理基准并讨论当前局限性及潜在未来方向。

实验结果

研究问题

• RQ1 在检索器与生成器之间，RAG 基础的基本抽象是什么？
• RQ2 为提升 RAG 系统的有效性与效率，已经提出了哪些增强？
• RQ3 RAG 如何在 AI 生成内容的不同模态和任务中应用？
• RQ4 存在哪些用于评估 RAG 的基准，以及当前的局限性和未来方向？

主要发现

• RAG 引入一个检索步骤，通过在输入、潜在表示或对数几率层面与检索数据交互来增强生成，适用于跨模态。
• 识别出四大 RAG 基础：基于查询、基于潜在表示、基于对数几率，以及其他增强策略。
• 增强包括跨注意力、Fusion-in-Decoder (FiD)、分块跨注意力、记忆增强的 transformers，以及适用于黑箱 LMs 的 API 友好检索方法。
• RAG 应用涵盖文本、代码、音频、图像、视频、3D、知识图谱与科学领域，具有如 FiD、ReMoDiffuse、RETRO 风格记忆整合等专门方法。
• 基准与讨论突出显示数据质量、检索效率和对齐等局限性，并指向未来研究方向的指南。