[论文解读] RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge

Yi Liu, Lianzhe Huang+6 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用 6

一句话总结

本文提出了 RECALL，一个用于评估大语言模型（LLMs）对外部反事实知识鲁棒性的基准。通过从现有数据集向上下文注入事实错误但看似合理的资讯，作者表明，即使模型具备正确的内部知识，当前的 LLM 仍极易受到此类误导信息的影响，且基于提示的干预措施仅能带来有限的改善。

ABSTRACT

LLMs and AI chatbots have improved people's efficiency in various fields. However, the necessary knowledge for answering the question may be beyond the models' knowledge boundaries. To mitigate this issue, many researchers try to introduce external knowledge, such as knowledge graphs and Internet contents, into LLMs for up-to-date information. However, the external information from the Internet may include counterfactual information that will confuse the model and lead to an incorrect response. Thus there is a pressing need for LLMs to possess the ability to distinguish reliable information from external knowledge. Therefore, to evaluate the ability of LLMs to discern the reliability of external knowledge, we create a benchmark from existing knowledge bases. Our benchmark consists of two tasks, Question Answering and Text Generation, and for each task, we provide models with a context containing counterfactual information. Evaluation results show that existing LLMs are susceptible to interference from unreliable external knowledge with counterfactual information, and simple intervention methods make limited contributions to the alleviation of this issue.

研究动机与目标

• 为填补评估 LLM 抵御误导性外部知识（尤其是检索来源中的反事实信息）能力的关键空白。
• 创建一个标准化基准，系统性地测试 LLM 在暴露于不可靠或虚假外部上下文时生成正确答案的能力。
• 探究现有方法（如提示工程和检索过滤）是否能有效提升模型对反事实干扰的鲁棒性。
• 为未来关于 LLM 真实性与可靠性研究提供一个可靠的评估框架，包含任务特定的度量指标。

提出的方法

• 通过使用 GPT-3.5-turbo 修改现有知识库样本（来自 EventKG 和 UJ 数据集），在上下文段落中插入反事实事实，构建了 RECALL 基准。
• 设计了两项评估任务：问答（QA-A 和 QA-NA）与文本生成，每项任务均包含包含误导性或错误信息的上下文。
• 引入两项新指标——答案准确率与真实生成得分，用于评估模型在反事实条件下的表现。
• 在基准上评估了最先进 LLM（如 ChatGLM2、LLaMA、Qwen）对来自外部误导信息的敏感性。
• 探索了两种干预策略：(1) 基于提示的指令，要求模型忽略不可靠上下文；(2) 检索过滤，以移除反事实内容。
• 分析了模型置信度分数，作为识别在误导性上下文影响下产生错误回答的潜在信号。

实验结果

研究问题

• RQ1 当 LLM 拥有正确的内部知识时，其在生成答案时对来自外部的反事实知识有多脆弱？
• RQ2 指示模型忽略不可靠上下文的基于提示的指令，能否有效提升其对反事实干扰的鲁棒性？
• RQ3 检索过滤方法在多大程度上能减轻外部知识源中虚假信息的影响？
• RQ4 模型置信度分数能否作为检测受反事实上下文影响的回答的可靠代理信号？

主要发现

• 现有 LLM 对反事实信息表现出高度脆弱性：即使正确答案在上下文中明确陈述，模型仍可能因虚假事实的误导而产生错误回答。
• 基于提示的干预方法（即指示模型忽略不可靠上下文）在 QA-NA 任务中导致性能下降，表明此类指令可能削弱模型对正确信息的信任。
• 在案例研究中，ChatGLM2 在接收到误导性指令后，将其答案从正确的‘Pierre Cauchon’（明确陈述）更改为上下文中未提及的‘Jean d’Estivet’，表明模型出现混淆。
• 检索过滤方法在提升鲁棒性方面效果有限，表明当前过滤技术尚不足以解决核心问题。
• 模型置信度分数被发现是识别受反事实知识影响的回答的潜在有用信号，尽管并非完美预测器。
• 基准 RECALL 揭示了 LLM 鲁棒性中的关键缺陷：当外部知识源中存在微小事实扭曲时，模型无法维持真实性。