[论文解读] Trusting Your Evidence: Hallucinate Less with Context-aware Decoding

Weijia Shi, Xiaochuang Han+4 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 7

一句话总结

本文提出上下文感知解码（CAD），一种无需微调的推理阶段方法，通过对比性调整输出概率，增强语言模型对输入上下文的依赖，减少对先验知识的依赖，从而提升模型的忠实度。CAD在 LLaMA-30B 的摘要任务中使事实性指标提升 14.3%，在知识冲突问答任务中最高实现 2.9 倍的性能增益，有效抑制了模型的幻觉偏差。

ABSTRACT

Language models (LMs) often struggle to pay enough attention to the input context, and generate texts that are unfaithful or contain hallucinations. To mitigate this issue, we present context-aware decoding (CAD), which follows a contrastive output distribution that amplifies the difference between the output probabilities when a model is used with and without context. Our experiments show that CAD, without additional training, significantly improves the faithfulness of different LM families, including OPT, GPT, LLaMA and FLAN-T5 for summarization tasks (e.g., 14.3% gain for LLaMA in factuality metrics). Furthermore, CAD is particularly effective in overriding a model's prior knowledge when it contradicts the provided context, leading to substantial improvements in tasks where resolving the knowledge conflict is essential.

研究动机与目标

• 为解决语言模型（LMs）在输入上下文与先验知识冲突时无法充分关注上下文的问题。
• 通过引导模型行为更依赖上下文证据而非参数化知识，减少文本生成中的幻觉。
• 开发一种适用于现成的、未经微调的语言模型的方法，无需重新训练或修改网络架构。
• 提升在摘要和知识冲突解析等上下文敏感任务上的表现。

提出的方法

• CAD 使用对比公式修改输出概率分布，放大有上下文与无上下文情况下的概率差异。
• 通过超参数 α 实现类似温度的缩放，重新加权 logits：softmax[(1+α)logit_with_context − α·logit_without_context]。
• 利用上下文与下一个词之间的点互信息（PMI）识别与上下文相关的输出。
• 该调整降低仅基于先验知识就高度可能的输出概率，优先选择仅在有上下文时才更可能的输出。
• 该方法在推理阶段应用，无需模型微调或架构修改。
• 设计上可广泛适用于包括 OPT、GPT、LLaMA 和 FLAN-T5 在内的多种语言模型系列。

Figure 1: An illustration of context-aware decoding.

实验结果

研究问题

• RQ1 是否存在一种解码方法，可在不微调的前提下提升语言模型对输入上下文的忠实度？
• RQ2 当上下文与模型先验知识冲突时，对比性解码策略在多大程度上能有效覆盖模型的先验知识？
• RQ3 上下文感知解码的效果是否随模型规模增大而增强，特别是在知识冲突场景中？
• RQ4 在平衡上下文关注与生成质量方面，最优调整参数 α 是多少？
• RQ5 该方法是否能在包括摘要和问答在内的多种语言模型架构与任务上实现泛化？

主要发现

• 在 LLaMA-30B 的 CNN-DM 摘要任务中，CAD 在事实性指标上实现了 14.3% 的绝对提升。
• 在知识冲突问答数据集上，CAD 相较于标准解码，性能提升了 2.9 倍。
• CAD 的性能增益随模型规模增大而提升，尤其在知识冲突任务中表现更明显，表明大模型对先验知识的依赖更强。
• 设置 α = 0.5 在所有数据集和模型规模上均带来一致的性能提升，且在冲突密集型任务中，更高的 α 值可进一步提升性能。
• 当应用于 LLaMA-30B 时，CAD 在 CNN-DM 数据集上使 ROUGE-L 分数提升 21%，表明生成结果在事实性和结构上均更匹配。
• 该方法在包括 OPT、GPT、LLaMA 和 FLAN-T5 在内的多种语言模型系列中均表现有效，证实了其广泛适用性。

Figure 2: OPT models of varying sizes consistently benefit from CAD. The x-axis indicates the size of language models and the y-axis is the performance.