[论文解读] Recitation-Augmented Language Models

Zhiqing Sun, Xuezhi Wang+3 more|arXiv (Cornell University)|Oct 4, 2022

Topic Modeling被引用 30

一句话总结

RECITE 引入了“朗读-并回答”范式，其中大型语言模型先从自身记忆中朗读段落，然后生成答案，在没有外部检索的情况下提升多数据集和多类模型家族的封闭书本问答（closed-book QA）表现。

ABSTRACT

We propose a new paradigm to help Large Language Models (LLMs) generate more accurate factual knowledge without retrieving from an external corpus, called RECITation-augmented gEneration (RECITE). Different from retrieval-augmented language models that retrieve relevant documents before generating the outputs, given an input, RECITE first recites one or several relevant passages from LLMs' own memory via sampling, and then produces the final answers. We show that RECITE is a powerful paradigm for knowledge-intensive NLP tasks. Specifically, we show that by utilizing recitation as the intermediate step, a recite-and-answer scheme can achieve new state-of-the-art performance in various closed-book question answering (CBQA) tasks. In experiments, we verify the effectiveness of \method~on four pre-trained models (PaLM, UL2, OPT, and Codex) and three CBQA tasks (Natural Questions, TriviaQA, and HotpotQA). Our code is available at "https://github.com/Edward-Sun/RECITE".

研究动机与目标

• 在无需外部检索的情况下，提升知识密集型任务中的事实准确性之动机。
• 将问答分解为朗读（基于记忆的检索）步骤和最终答案生成步骤。
• 在多样化的大型语言模型和 CBQA 数据集上展示有效性。
• 通过多样化朗读、自洽性以及对朗读质量进行微调来探索改进方案。

提出的方法

• 提出一个两步的 RECITE 框架：从模型记忆中进行知识朗读，然后执行任务以给出答案。
• 利用基于提示的上下文学习来生成以问题-答案示例为条件的朗读。
• 通过多次朗读实现自洽性并进行多数表决以选择最终答案。
• 通过多次朗读-回答扩展以处理多跳问题，将来自若干朗读的信息进行整合。
• 引入基于段落提示的多样化朗读，以提高证据多样性与事实准确性。
• 在合成的问题-提示-段落对上对大模型进行微调，以更好地将问题映射到朗读和段落。

实验结果

研究问题

• RQ1 在无需外部检索的情况下，RECITE 是否能在多个数据集和多种模型规模上提升封闭书本问答？
• RQ2 自洽性和多样化朗读对 RECITE 的答案质量和鲁棒性有何影响？
• RQ3 在知识密集型任务中，RECITE 与基于检索的和链式思考（chain-of-thought）基线相比如何？
• RQ4 在合成的问题-提示-段落数据上进行微调是否进一步增强朗读效果？
• RQ5 在 Natural Questions、TriviaQA 和 HotpotQA 等数据集上，RECITE 在单跳问题与多跳问题上的表现如何？

主要发现

• 使用朗读-并回答的 RECITE 在若干模型（PaLM、UL2、OPT、Codex）和 CBQA 数据集上相较标准提示实现了可测量的改进。
• 对 PaLM-62B 来说，多样化朗读和多样段落朗读进一步提升 Natural Questions 的性能。
• 自洽性（多路径朗读）通常提升答案准确性，更多朗读在某个程度上带来更好结果。
• 在测试设置中，RECITE 在多跳问答（HotpotQA）上可超过一些链式思考基线。
• 朗读-based 方法即使在没有外部检索的情况下也表现出竞争力，在某些情境下往往达到或接近 BM25 检索基线。