[论文解读] RARR: Researching and Revising What Language Models Say, Using Language Models

Luyu Gao, Zhuyun Dai+9 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用 13

一句话总结

RARR 是一种与模型无关的框架，通过自动检索外部证据并修订文本，提升语言模型输出的事实归属准确性，同时保持原始风格和结构。它采用少样本提示（few-shot prompting）结合大型语言模型与网络搜索，实现高保真度的修订，且仅需极少微调，在多种生成任务中显著提升了归属准确性。

ABSTRACT

Language models (LMs) now excel at many tasks such as few-shot learning, question answering, reasoning, and dialog. However, they sometimes generate unsupported or misleading content. A user cannot easily determine whether their outputs are trustworthy or not, because most LMs do not have any built-in mechanism for attribution to external evidence. To enable attribution while still preserving all the powerful advantages of recent generation models, we propose RARR (Retrofit Attribution using Research and Revision), a system that 1) automatically finds attribution for the output of any text generation model and 2) post-edits the output to fix unsupported content while preserving the original output as much as possible. When applied to the output of several state-of-the-art LMs on a diverse set of generation tasks, we find that RARR significantly improves attribution while otherwise preserving the original input to a much greater degree than previously explored edit models. Furthermore, the implementation of RARR requires only a handful of training examples, a large language model, and standard web search.

研究动机与目标

• 为解决语言模型输出中缺乏支持或虚构内容的问题，实现自动归因。
• 开发一种方法，使生成的文本在与检索到的证据对齐的同时，保持原始风格、结构和意图。
• 创建一种与模型无关的系统，可适用于任何预训练语言模型，无需架构修改。
• 在归属质量与原始文本属性保留方面评估修订模型。
• 证明使用大型语言模型的少样本提示可在多种生成任务中实现稳健的泛化能力。

提出的方法

• RARR 分为两个阶段：研究（查询生成与证据检索）和修订（不一致检测与文本编辑）。
• 查询生成器针对输入文本的不同方面生成问题，以引导针对性的网络搜索。
• 检索器使用标准网络搜索，收集与每个查询相关的证据片段。
• 一致性模型用于检测原始文本与检索到的证据之间是否存在不一致。
• 当检测到不一致时，编辑模型通过大型语言模型的少样本提示执行针对性修订。
• 将选定的证据片段整合为归因报告，确保可追溯性与透明度。

实验结果

研究问题

• RQ1 后处理修订系统是否能在不修改原始模型的前提下，提升语言模型输出的事实归属性能？
• RQ2 使用大型语言模型的少样本提示在知识对齐、推理链和对话等多样化生成任务中，泛化能力如何？
• RQ3 RARR 在修正无支持主张的同时，多大程度上保留了原始文本的风格与结构？
• RQ4 RARR 在归属准确性与原始内容保留保真度方面，与现有编辑模型相比表现如何？
• RQ5 基于标准网络搜索与大型语言模型构建的检索增强型修订系统，是否能在极少监督下超越微调模型？

主要发现

• RARR 在多种任务中显著提升了归属性能，包括知识密集型问题、推理链和对话回复。
• 与先前的编辑模型相比，该系统在保留原始文本风格与结构方面表现更优，这一结果通过保留度量指标得到验证。
• RARR 仅使用少量训练样本即实现优异性能，证明了其在少样本场景下的有效泛化能力。
• 该框架在归属质量与原始内容保留方面均优于现有修订模型。
• 通过后生成阶段的检索与修订，实现了与模型无关的归因，使其可应用于任何现有语言模型。
• 评估表明，RARR 的归因报告与检索到的证据高度相关且一致，增强了对模型输出的信任。