[论文解读] Prompt-RAG: Pioneering Vector Embedding-Free Retrieval-Augmented Generation in Niche Domains, Exemplified by Korean Medicine

Bongsu Kang, Jundong Kim+2 more|arXiv (Cornell University)|Jan 20, 2024

Topic Modeling被引用 10

一句话总结

引入 Prompt-RAG，一种基于提示的检索增强生成方法，在不使用嵌入向量的情况下运行，在韩国医学领域的问答任务中，相较于传统基于嵌入的 RAG 和 ChatGPT，展示出更高的相关性和信息性。

ABSTRACT

We propose a natural language prompt-based retrieval augmented generation (Prompt-RAG), a novel approach to enhance the performance of generative large language models (LLMs) in niche domains. Conventional RAG methods mostly require vector embeddings, yet the suitability of generic LLM-based embedding representations for specialized domains remains uncertain. To explore and exemplify this point, we compared vector embeddings from Korean Medicine (KM) and Conventional Medicine (CM) documents, finding that KM document embeddings correlated more with token overlaps and less with human-assessed document relatedness, in contrast to CM embeddings. Prompt-RAG, distinct from conventional RAG models, operates without the need for embedding vectors. Its performance was assessed through a Question-Answering (QA) chatbot application, where responses were evaluated for relevance, readability, and informativeness. The results showed that Prompt-RAG outperformed existing models, including ChatGPT and conventional vector embedding-based RAGs, in terms of relevance and informativeness. Despite challenges like content structuring and response latency, the advancements in LLMs are expected to encourage the use of Prompt-RAG, making it a promising tool for other domains in need of RAG methods.

研究动机与目标

• 在不依赖向量嵌入的情况下，为小众领域的有效 RAG 的需求提供动机。
• 探究在特定领域问答中，基于提示的无嵌入检索是否能够超越传统的基于嵌入的 RAG。
• 在一个问答聊天机器人上评估 Prompt-RAG，以评估相关性、可读性和信息性。
• 检视如内容结构化和响应延迟等局限性，并讨论在其他小众领域的广泛适用性。

提出的方法

• 提出一种自然语言提示驱动的检索增强生成（Prompt-RAG）框架，无需嵌入向量。
• 比较 KM（韩国医学）文档嵌入与传统 CM（常规医学）嵌入，以分析与标记重叠和人工判断相关性的相关性。
• 通过问答聊天机器人应用评估 Prompt-RAG，衡量相关性、可读性和信息性。
• 将性能与包括 ChatGPT 和向量嵌入式 RAG 系统在内的现有模型进行比较。
• 讨论在内容结构化和响应延迟方面的实际挑战，同时突出对其他领域的潜在好处。

实验结果

研究问题

• RQ1 基于提示、无嵌入的 RAG 方法是否能在小众领域的问答任务中超越传统的向量嵌入 RAG？
• RQ2 来自小众领域文档（韩国医学）的嵌入是否与标记重叠和人工评估的相关性不同于来自常规医学的嵌入？
• RQ3 与 ChatGPT 和基于嵌入的 RAG 相比，Prompt-RAG 在相关性、可读性和信息性方面的表现如何？
• RQ4 在实际问答系统中部署无嵌入 RAG 时，哪些实际挑战（例如内容结构化、延迟）会产生影响？

主要发现

• Prompt-RAG 在问答聊天机器人场景中的相关性和信息性方面优于现有模型。
• KM 文档嵌入与标记重叠的相关性较高，而与人工判定的相关性相比，低于 CM 嵌入。
• 无嵌入方法在小众领域相对于传统向量嵌入型 RAG 提供了优势。
• 在基于提示的检索生成任务中，内容结构化和响应延迟仍然是实际挑战。
• 该研究表明 Prompt-RAG 可应用于需要 RAG 方法的其他领域，具有更广泛的适用性。