[论文解读] Retrieving Supporting Evidence for LLMs Generated Answers

Siqing Huo, Negar Arabzadeh+1 more|arXiv (Cornell University)|Jun 23, 2023

Topic Modeling被引用 4

一句话总结

本文提出一种针对大语言模型（LLM）生成答案的简单自我验证方法，通过结合原始问题与LLM生成的答案构建联合查询，从语料库中检索支持性证据。随后，LLM评估其生成答案与检索到的文本之间的一致性，实现约70%-80%的幻觉检测准确率，表明该方法具有潜力但可靠性有限，尚不足以完全依赖于完整幻觉检测。

ABSTRACT

Current large language models (LLMs) can exhibit near-human levels of performance on many natural language tasks, including open-domain question answering. Unfortunately, they also convincingly hallucinate incorrect answers, so that responses to questions must be verified against external sources before they can be accepted at face value. In this paper, we report a simple experiment to automatically verify generated answers against a corpus. After presenting a question to an LLM and receiving a generated answer, we query the corpus with the combination of the question + generated answer. We then present the LLM with the combination of the question + generated answer + retrieved answer, prompting it to indicate if the generated answer can be supported by the retrieved answer. We base our experiment on questions and passages from the MS MARCO (V1) test collection, exploring three retrieval approaches ranging from standard BM25 to a full question answering stack, including a reader based on the LLM. For a large fraction of questions, we find that an LLM is capable of verifying its generated answer if appropriate supporting material is provided. However, with an accuracy of 70-80%, this approach cannot be fully relied upon to detect hallucinations.

研究动机与目标

• 探究大语言模型是否可通过将自身答案与外部证据进行比对，实现幻觉的自我检测。
• 评估不同检索方法（从BM25到神经网络问答堆栈）在支持LLM幻觉检测方面的有效性。
• 评估使用阅读模型从检索到的文本中提取简洁答案是否能提升验证准确率。
• 确定幻觉检测流程中检索效果与计算效率之间的权衡。
• 探讨该方法的局限性，包括训练数据中潜在的数据泄露问题以及处理数值答案的挑战。

提出的方法

• 提示LLM针对给定问题生成答案，指导其以专家身份作答，以确保严谨性。
• 通过拼接原始问题与LLM生成的答案，构建联合查询用于检索。
• 使用多种检索方法（包括BM25和带阅读器的神经检索堆栈）从MS MARCO段落语料库中检索相关段落。
• 向LLM展示原始问题、其生成的答案以及检索到的段落，由其判断一致性。
• 采用零样本提示策略，评估LLM是否能判断其答案是否得到检索证据的支持。
• 使用人工标注的幻觉检测标签评估性能，将预测结果与真实标签进行对比。

实验结果

研究问题

• RQ1 当从外部语料库检索到支持性证据时，LLM能否可靠地自我检测幻觉？
• RQ2 检索方法的选择（如BM25与基于神经阅读器的检索）如何影响幻觉检测的准确性？
• RQ3 使用阅读模型从检索到的段落中提取简洁答案，是否能提升LLM验证自身回答的能力？
• RQ4 查询构成（特别是使用问题+答案的联合查询）对检索相关性及下游验证有何影响？
• RQ5 模型特异性行为（如对数值答案处理困难）在多大程度上限制了该自我验证方法的可靠性？

主要发现

• LLM的整体幻觉检测准确率约为70%-80%，表明该方法虽具潜力，但尚不足以完全信赖其检测所有幻觉。
• 带有阅读器组件的神经检索方法始终优于仅使用BM25，显著提升了验证准确率。
• 尽管有所改进，基于阅读器的检索堆栈在约80%的案例中未改变预测标签，表明在高精度应用中边际收益有限。
• 该方法在处理数值答案方面表现尤为困难，凸显了在处理定量幻觉方面的关键局限性。
• 即使简单的BM25检索也达到了可接受的性能，表明计算轻量级方法在此任务中同样有效。
• 该方法对潜在的数据泄露敏感，因为MS MARCO语料库可能曾作为LLM训练数据的一部分，可能在最佳情况下人为夸大了结果。