[论文解读] PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions

Anthony Chen, Panupong Pasupat+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 6

一句话总结

PURR 提出了一种无监督方法，通过训练紧凑的编辑器来去噪大型语言模型生成的合成噪声，从而高效地修正语言模型的幻觉问题。该方法在事实归属性能上优于基于提示的编辑方法，且速度高出数个数量级，同时无需标注训练数据或训练期间的配对证据。

ABSTRACT

The remarkable capabilities of large language models have been accompanied by a persistent drawback: the generation of false and unsubstantiated claims commonly known as "hallucinations". To combat this issue, recent research has introduced approaches that involve editing and attributing the outputs of language models, particularly through prompt-based editing. However, the inference cost and speed of using large language models for editing currently bottleneck prompt-based methods. These bottlenecks motivate the training of compact editors, which is challenging due to the scarcity of training data for this purpose. To overcome these challenges, we exploit the power of large language models to introduce corruptions (i.e., noise) into text and subsequently fine-tune compact editors to denoise the corruptions by incorporating relevant evidence. Our methodology is entirely unsupervised and provides us with faux hallucinations for training in any domain. Our Petite Unsupervised Research and Revision model, PURR, not only improves attribution over existing editing methods based on fine-tuning and prompting, but also achieves faster execution times by orders of magnitude.

研究动机与目标

• 为解决大型语言模型（LLMs）输出中事实性不准确和幻觉的问题。
• 降低依赖大型模型进行实时编辑的基于提示的编辑方法所带来的高昂推理成本。
• 通过完全无监督的方式生成合成幻觉-噪声对，克服微调编辑器训练数据稀缺的问题。
• 开发一种紧凑、高效的编辑器，以在多种领域和任务中提升事实归属能力。

提出的方法

• 利用大型语言模型通过污染从检索到的证据中提取的事实性陈述来生成合成幻觉。
• 构建一个数据生成流水线，该流水线检索主题相关的证据，将其总结为一个陈述，并应用基于 LLM 的噪声处理以生成带噪声的训练样本。
• 微调一个紧凑的解码器融合 T5 模型（PURR），利用检索到的证据作为上下文来去噪被污染的陈述。
• 以完全无监督的方式训练编辑器，无需在训练期间使用人工整理的编辑数据或配对证据。
• 在推理阶段使用该编辑器，通过生成搜索查询、检索证据并生成修订后的、事实一致的陈述来纠正无依据的陈述。

(a) Training PURR. Given a seed query, we search for relevant evidence and summarize them into a claim which we corrupt. PURR is trained to denoise the corruption conditioned on the evidence.

实验结果

研究问题

• RQ1 基于 LLM 的无监督数据生成流水线能否生成高质量、多样化的幻觉-噪声对，以用于高效编辑器的训练？
• RQ2 在准确性和速度方面，基于 LLM 生成的噪声进行微调的紧凑编辑器是否优于使用大型模型的基于提示的编辑方法？
• RQ3 基于去噪的方法是否能在无需领域特定训练数据的情况下，泛化到多种领域和基准测试？
• RQ4 当使用生成噪声的 LLM 进行少样本提示时，基于合成噪声训练的紧凑编辑器在性能上是否优于该 LLM 本身？

主要发现

• 与使用大型语言模型的基于提示的编辑方法相比，PURR 在多个基准测试（如 Natural Questions、TriviaQA 和 WebQ）中均提升了事实归属性能。
• 与基线的基于提示的编辑方法相比，PURR 在平均 attribution 分数上实现了 20-30% 的相对提升。
• PURR 的执行速度比基于 LLM 的编辑方法快达 100 倍，能够在低延迟应用中实现实时推理。
• 去噪方法在性能上超越了用于生成噪声的 LLM，即使在后者用于少样本提示时也是如此。
• 错误分析表明，主要失败模式是证据检索不佳，而非编辑过程有误，表明核心去噪机制具有鲁棒性。
• 该方法完全无监督且具备泛化能力，训练期间无需标注编辑数据或配对证据，可广泛部署于多种领域。

(b) Using PURR. Given an ungrounded statement, we generate questions to search for relevant evidence which is then used to produce an edit.