[论文解读] RAGged Edges: The Double-Edged Sword of Retrieval-Augmented Chatbots

Philip Feldman. James R. Foulds, Foulds, James R.+1 more|arXiv (Cornell University)|Mar 2, 2024

AI in Service Interactions被引用 5

一句话总结

该论文通过对研究人员简历中的上下文提示来评估检索增强生成（RAG）在减少LLM幻觉方面的作用；上下文显著提高准确性，但仍可能产生错误，揭示RAG系统中的细微错误类型。

ABSTRACT

Large language models (LLMs) like ChatGPT demonstrate the remarkable progress of artificial intelligence. However, their tendency to hallucinate -- generate plausible but false information -- poses a significant challenge. This issue is critical, as seen in recent court cases where ChatGPT's use led to citations of non-existent legal rulings. This paper explores how Retrieval-Augmented Generation (RAG) can counter hallucinations by integrating external knowledge with prompts. We empirically evaluate RAG against standard LLMs using prompts designed to induce hallucinations. Our results show that RAG increases accuracy in some cases, but can still be misled when prompts directly contradict the model's pre-trained understanding. These findings highlight the complex nature of hallucinations and the need for more robust solutions to ensure LLM reliability in real-world applications. We offer practical recommendations for RAG deployment and discuss implications for the development of more trustworthy LLMs.

研究动机与目标

• 说明为何使用RAG来应对大型语言模型的幻觉。
• 研究在检索外部信息时，情境提示如何影响准确性。
• 评估即使有上下文，在RAG设置中仍然存在的错误类型。

提出的方法

• 进行一个人类在环实验，学者提供简历，提示在有无简历上下文的情况下被增强。
• 使用 OpenAI gpt-3.5-turbo-16k-0613 来回答关于命名学者出版物的提示。
• 让参与者将每个回答分类为幻觉、部分、准确或无用。
• 比较有上下文与无上下文提示下的准确性和错误类型。

实验结果

研究问题

• RQ1 在基于简历的信息任务中，向提示中添加检索得到的上下文是否能提高LLM回答的准确性？
• RQ2 在RAG型提示中使用上下文时，哪些错误类别仍然存在？
• RQ3 实践中上下文提示如何影响幻觉和无用输出的比例？

主要发现

• 上下文显著提高准确性：有上下文时约94%准确，无上下文时约7.31%准确。
• 在1,125个有上下文的样本中，93.95%为准确，2.04%为幻觉，2.31%为无用，1.68%为部分。
• 在793个无上下文样本中，7.31%为准确，55.35%为幻觉，28.87%为无用，8.44%为部分。
• 总体而言，上下文提示减少幻觉并使对检索文本的导航能力提升约18倍。
• 观察到五个错误类别：嘈杂的上下文、指令与上下文不匹配、基于上下文的综合、异常格式、以及上下文不完整。
• 在6.04%的样本中，尽管有上下文，回答仍然错误，且由上述错误类别驱动。