[论文解读] On Hallucination and Predictive Uncertainty in Conditional Language Generation

Yijun Xiao, William Yang Wang|arXiv (Cornell University)|Mar 28, 2021

Multimodal Machine Learning Applications参考文献 34被引用 16

一句话总结

本文研究了条件语言生成中幻觉与预测不确定性的关联，提出了一种不确定性感知的束搜索（UABS），通过在解码过程中惩罚认知不确定性来减少幻觉。结果表明，更高的认知不确定性与幻觉存在强烈相关性，且UABS在生成质量与事实一致性之间的权衡上优于标准束搜索。

ABSTRACT

Despite improvements in performances on different natural language generation tasks, deep neural models are prone to hallucinating facts that are incorrect or nonexistent. Different hypotheses are proposed and examined separately for different tasks, but no systematic explanations are available across these tasks. In this study, we draw connections between hallucinations and predictive uncertainty in conditional language generation. We investigate their relationship in both image captioning and data-to-text generation and propose a simple extension to beam search to reduce hallucination. Our analysis shows that higher predictive uncertainty corresponds to a higher chance of hallucination. Epistemic uncertainty is more indicative of hallucination than aleatoric or total uncertainties. It helps to achieve better results of trading performance in standard metric for less hallucination with the proposed beam search variant.

研究动机与目标

• 探究图像字幕生成和数据到文本生成等条件NLG任务中幻觉与预测不确定性的关系。
• 确定不确定性量化是否可作为不同NLG任务中幻觉的统一解释。
• 开发一种将不确定性估计融入束搜索的解码方法，以减少幻觉。
• 评估不确定性分解（认知与随机性不确定性）是否能改善性能与幻觉之间的权衡。

提出的方法

• 作者使用标记概率分布的熵来建模预测不确定性，并通过贝叶斯神经网络将不确定性分解为认知与随机性两部分。
• 提出不确定性感知束搜索（UABS），通过在束搜索评分函数中增加基于预测不确定性的惩罚项来修改其评分机制。
• 惩罚项作用于总不确定性、认知不确定性或随机性不确定性，目标是偏好不确定性更低、更可靠的生成结果。
• 在图像字幕生成和数据到文本生成基准上评估UABS，使用标准指标并借助任务特定启发式方法检测幻觉。
• 认知不确定性通过蒙特卡洛 dropout 估计，而随机性不确定性则通过多次前向传播预测结果的方差推导得出。
• 通过比较不同不确定性惩罚下的生成质量（如 BLEU、ROUGE）与幻觉率，对方法进行验证。

实验结果

研究问题

• RQ1 在不同的条件NLG任务中，预测不确定性与幻觉之间是否存在一致的关系？
• RQ2 哪种类型的不确定性——认知、随机性或总不确定性——最能预测幻觉？
• RQ3 在束搜索解码中引入不确定性是否能有效减少幻觉而不严重降低生成质量？
• RQ4 不确定性分解是否能实现NLG中性能与事实一致性之间更好的权衡？

主要发现

• 更高的预测不确定性，尤其是认知不确定性，与生成文本中幻觉的可能性显著相关。
• 在解码过程中惩罚认知不确定性，相比惩罚随机性或总不确定性，能显著降低幻觉率。
• 所提出的不确定性感知束搜索（UABS）在标准生成指标与幻觉减少之间的权衡上优于标准束搜索。
• 当惩罚认知不确定性时，UABS生成的文本更短但更自信且事实一致性更高。
• 结果表明，认知不确定性比随机性不确定性更能可靠地指示幻觉，因为它反映了模型对输入上下文的不确定性。