[论文解读] RAG Does Not Work for Enterprises

Tilmann Bruckhaus|arXiv (Cornell University)|May 31, 2024

Information Retrieval and Search Behavior被引用 7

一句话总结

本文认为 Retrieval-Augmented Generation 面临企业特有的挑战，并提出一个评估框架和改进安全、可扩展部署的方向。

ABSTRACT

Retrieval-Augmented Generation (RAG) improves the accuracy and relevance of large language model outputs by incorporating knowledge retrieval. However, implementing RAG in enterprises poses challenges around data security, accuracy, scalability, and integration. This paper explores the unique requirements for enterprise RAG, surveys current approaches and limitations, and discusses potential advances in semantic search, hybrid queries, and optimized retrieval. It proposes an evaluation framework to validate enterprise RAG solutions, including quantitative testing, qualitative analysis, ablation studies, and industry case studies. This framework aims to help demonstrate the ability of purpose-built RAG architectures to deliver accuracy and relevance improvements with enterprise-grade security, compliance and integration. The paper concludes with implications for enterprise deployments, limitations, and future research directions. Close collaboration between researchers and industry partners may accelerate progress in developing and deploying retrieval-augmented generation technology.

研究动机与目标

• 确定企业 RAG 部署的独特需求。
• 调查当前 RAG 方法及其在企业环境中的局限性。
• 讨论面向企业的语义搜索、混合查询和优化检索的潜在进展。
• 提出一个评估框架，以在考虑安全性和集成性的前提下验证企业 RAG 解决方案。

提出的方法

• 调查当前的企业 RAG 方法及其局限性。
• 讨论面向企业的语义搜索、混合查询和优化检索的潜在进展。
• 提出一个以企业为中心的评估框架。
• 强调企业级安全、合规性和集成方面的考虑。
• 建议研究人员与行业伙伴之间的合作以加速进展。

实验结果

研究问题

• RQ1 在企业环境中，RAG 的独特需求和约束是什么？
• RQ2 当前企业 RAG 方法和实现的局限性是什么？
• RQ3 在语义搜索、混合查询和检索优化方面的哪些进展可以使企业 RAG 受益？
• RQ4 如何有效评估企业 RAG 解决方案在准确性、相关性、安全性和集成方面的表现？

主要发现

• 将数据安全、准确性、可扩展性和集成确认为企业 RAG 的核心挑战。
• 提出一个评估框架以验证企业 RAG 解决方案。
• 强调在部署考虑中需要企业级安全、合规性和集成。
• 建议研究人员与行业伙伴之间密切合作，以加速企业级 RAG 部署的进展。