[论文解读] Resolving Knowledge Conflicts in Large Language Models

Yike Wang, Shangbin Feng+5 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用 6

一句话总结

本文提出了知识冲突（Knowledge Conflict）框架，这是一个全面的评估体系，用于衡量大语言模型（LLMs）在检测和处理知识冲突方面的能力——即模型内部参数化知识（权重）与外部非参数化上下文信息之间的不一致。该框架评估LLMs在三个关键能力上的表现：检测冲突、定位冲突段落，以及生成不同的回答。实验结果表明，LLMs在冲突检测方面表现良好，但在精确定位冲突和生成差异性响应方面表现不佳。为此，作者提出了基于指令的改进方法，显著提升了这些任务的性能。

ABSTRACT

Large language models (LLMs) often encounter knowledge conflicts, scenarios where discrepancy arises between the internal parametric knowledge of LLMs and non-parametric information provided in the prompt context. In this work we ask what are the desiderata for LLMs when a knowledge conflict arises and whether existing LLMs fulfill them. We posit that LLMs should 1) identify knowledge conflicts, 2) pinpoint conflicting information segments, and 3) provide distinct answers or viewpoints in conflicting scenarios. To this end, we introduce KNOWLEDGE CONFLICT, an evaluation framework for simulating contextual knowledge conflicts and quantitatively evaluating to what extent LLMs achieve these goals. KNOWLEDGE CONFLICT includes diverse and complex situations of knowledge conflict, knowledge from diverse entities and domains, two synthetic conflict creation methods, and settings with progressively increasing difficulty to reflect realistic knowledge conflicts. Extensive experiments with the KNOWLEDGE CONFLICT framework reveal that while LLMs perform well in identifying the existence of knowledge conflicts, they struggle to determine the specific conflicting knowledge and produce a response with distinct answers amidst conflicting information. To address these challenges, we propose new instruction-based approaches that augment LLMs to better achieve the three goals. Further analysis shows that abilities to tackle knowledge conflicts are greatly impacted by factors such as knowledge domain and prompt text, while generating robust responses to knowledge conflict scenarios remains an open research question.

研究动机与目标

• 探究大语言模型（LLMs）是否能够正确识别并响应其内部参数化知识与外部上下文之间存在的知识冲突。
• 定义并评估LLMs在冲突场景下的三个关键期望属性：检测冲突是否存在、定位冲突段落、生成不同的答案。
• 识别当前LLM在处理冲突知识时的局限性，特别是在精确定位特定冲突和生成差异性响应方面。
• 提出并评估基于指令的提示策略，以增强LLMs有效应对知识冲突的能力。
• 建立一个基准框架，用于系统性评估LLMs在知识冲突处理方面的能力。

提出的方法

• Knowledge Conflict框架通过从10,000个实体的数据集中选取的20个领域和200个主题，使用多样化实体模拟上下文知识冲突。
• 采用两种合成冲突生成方法，生成参数化知识与外部上下文之间的冲突知识对，以适配特定提示。
• 定义了三个逐步复杂的评估任务：(1) 上下文知识冲突检测，(2) QA-段落知识冲突检测，(3) 差异化答案生成。
• 引入基于指令的提示策略，包括CoT（思维链）、Self-ask、GKP（生成并持续提示）以及一种新提出的“Ours”方法，以提升LLMs在冲突任务中的推理能力。
• 框架采用零样本、少样本及少样本+CoT提示方式，测试输入动态替换上下文、问题和知识的占位符。
• 在GPT-3.5-turbo等模型上进行实验，通过定量指标与定性分析评估各项任务上的性能。

Figure 1: We expect LLMs to 1) acknowledge knowledge conflicts, 2) point out the specific conflicting segments, and 3) generate different answers based on conflicting pieces of information.

实验结果

研究问题

• RQ1 LLMs能否可靠检测到参数化知识与非参数化知识之间的知识冲突？
• RQ2 LLMs在多大程度上能够精确定位上下文中发生知识冲突的具体段落？
• RQ3 LLMs能否基于冲突信息生成不同且上下文相关的答案，而非默认依赖单一来源？
• RQ4 知识领域和提示结构等因素如何影响LLMs在处理知识冲突时的表现？
• RQ5 基于指令的提示策略能否显著提升LLMs解决知识冲突的能力？

主要发现

• LLMs在检测知识冲突是否存在方面表现优于随机基线，表明其具备对冲突存在的基本认知能力。
• 在精确定位冲突段落方面表现显著下降，表明LLMs在上下文内定位差异方面存在困难。
• LLMs在基于冲突信息生成差异化答案方面表现不佳，常默认依赖单一来源或产生不一致的回答。
• 所提出的基于指令的方法——尤其是Self-ask和Ours——在冲突检测与差异化答案生成任务中均显著提升了性能。
• 知识领域与提示结构对LLM行为有明显影响，不同类型的冲突知识会导致性能差异。
• 尽管通过针对性提示有所改进，但知识冲突的稳健、可靠处理仍是开放的研究挑战。

Figure 2: We introduce the Knowledge Conflict framework to comprehensively analyze and improve LLMs’ handling of knowledge conflicts. The framework handles concrete spans where knowledge conflicts arise, and facilitates meaningful outputs, granting its users the agency to find appropriate responses