[论文解读] Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis

Li Du, Yequan Wang+5 more|arXiv (Cornell University)|Sep 11, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种关联分析框架，用于联合量化大型语言模型（LLMs）中的幻觉率，并将其归因于潜在风险因素，同时控制混杂因素。研究识别出常识记忆、关系推理复杂性和指令遵循冲突是导致幻觉的关键因素，其中GPT-4由于强大的语言建模与人类指令之间的冲突，表现出较高的幻觉率。

ABSTRACT

Although demonstrating superb performance on various NLP tasks, large language models (LLMs) still suffer from the hallucination problem, which threatens the reliability of LLMs. To measure the level of hallucination of LLMs, previous works first categorize the hallucination according to the phenomenon similarity, then quantify the proportion that model outputs contain hallucinatory contents. However, such hallucination rates could easily be distorted by confounders. Moreover, such hallucination rates could not reflect the reasons for the hallucination, as similar hallucinatory phenomena may originate from different sources. To address these issues, we propose to combine the hallucination level quantification and hallucination reason investigation through an association analysis, which builds the relationship between the hallucination rate of LLMs with a set of risk factors. In this way, we are able to observe the hallucination level under each value of each risk factor, examining the contribution and statistical significance of each risk factor, meanwhile excluding the confounding effect of other factors. Additionally, by recognizing the risk factors according to a taxonomy of model capability, we reveal a set of potential deficiencies in commonsense memorization, relational reasoning, and instruction following, which may further provide guidance for the pretraining and supervised fine-tuning process of LLMs to mitigate the hallucination.

研究动机与目标

• 解决现有幻觉量化方法受混杂因素扭曲且无法解释成因的局限性。
• 通过统计关联建模，同时测量幻觉水平并将其归因于特定风险因素。
• 识别出导致幻觉的根本性模型能力缺陷，如常识记忆、关系推理和指令遵循能力的不足。
• 通过揭示哪些模型能力最易受幻觉影响，为预训练和微调过程提供指导。

提出的方法

• 使用基于回归的关联分析，将幻觉概率建模为多个风险因素的函数。
• 通过在每个风险因素的固定水平上比较幻觉率，控制混杂效应。
• 基于模型能力的分类体系定义风险因素，包括实体频率、关系复杂性和指令-语言建模冲突。
• 使用正确输出与幻觉输出之间的对数似然差作为指令遵循保真度的代理指标。
• 在多种任务（如c-NLI、Ruletaker）上应用该方法，以评估不同推理和知识类型下的幻觉情况。
• 使用回归系数和p值，统计评估每个风险因素的显著性和贡献度。

实验结果

研究问题

• RQ1 LLMs在不同风险因素水平（如实体频率和关系复杂性）下的幻觉率如何变化？
• RQ2 语言建模目标与人类指令之间的冲突在多大程度上导致了幻觉？
• RQ3 哪些模型能力——常识记忆、关系推理或指令遵循——与幻觉关联最强？
• RQ4 能否在控制数据集构成中混杂变量的前提下，对幻觉进行量化和归因？

主要发现

• LLMs在训练数据中频率较低的实体和关系上表现出更高的幻觉率，表明对稀有知识的记忆能力较差。
• 在关系推理任务中，理论、事实或论点数量的增加显著提高了幻觉率——例如，论点数量每增加一个单位，幻觉率提升1.13倍（exp(0.12)）。
• GPT-4表现出U型幻觉模式：尽管是当前最先进模型，但幻觉率仍较高，原因在于强大的语言建模与人类指令之间存在冲突。
• 对反事实陈述的似然性下降与幻觉率显著相关，表明强大的语言建模可能削弱指令遵循能力。
• 即使在GPT-4中，复杂关系任务（Ruletaker）中正确推理和答案生成的准确率也仅为57%，表明关系推理仍存在持续挑战。
• 语言建模目标与人类指令之间的冲突是统计显著的风险因素，GPT-4的回归系数为0.11。